deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 6738|回复: 9

stable diffusion人物lora模型的使用方法

[复制链接]

2

主题

11

帖子

731

积分

高级丹师

Rank: 5Rank: 5

积分
731
 楼主| 发表于 2023-2-23 13:42:50 | 显示全部楼层 |阅读模式
【声明】本人只提供基于Stable Diffusion(sd)的AI绘画相关教程,三次元模型生成相关图片的责任都将由使用者本人承担。
00154-3802079015-best quality black long hair ultra high res photorealistic_1.4 1girlsilver dressazur lane_ nsfw nudeKpop idol a.png 00155-1806192699-best quality black long hair ultra high res photorealistic_1.4 1girlsilver dressazur lane_ nsfw nudeKpop idol a.png 00156-2805667922-best quality black long hair ultra high res photorealistic_1.4 1girlsilver dressazur lane_ nsfw nudeKpop idol a.png 00157-3138791070-best quality black long hair ultra high res photorealistic_1.4 1girlsilver dressazur lane_ nsfw nudeKpop idol a.png 00158-3085077166-best quality black long hair ultra high res photorealistic_1.4 1girlsilver dressazur lane_ nsfw nudeKpop idol a.png 00159-51311285-best quality black long hair ultra high res photorealistic_1.4 1girlsilver dressazur lane_ nsfw nudeKpop idol a.png
上面是跑出来的宋轶lora模型,根据tags生成。


1.lora模型训练素材准备,1-1000张高清正面照片,大头照也可以,材标准,正面图,脸部不能有遮挡,脸不能背景不能复杂,图要高清,起码2mb ,小于的我都删了。经过图像处理后的图片能包含完整的人物(full boddy),或者完整的脸(detailed face),如果裁剪后的图片只有半边身体或者半张脸,那么后续模型的使用中也很容易出现生成的人物跑出图片或被奇怪的东西挡住情况。大概要上面生成的这张图一样。

2.裁剪,可以用本地也可以用网站等,尺寸推荐512x768,裁剪后的图片一定要复查,没有脸的,斜的都不能要,要精不能粗制滥造。
3.图片放本地或者云sd跑就行,这些教程网上很多就不说了
4.训练用的模型一点要这个
sd1.5 三次元一般用这个
https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.safetensors 7gb的
或者Chilloutmix-Ni 7gb  这个效果还没有实验
5.训练参数

# LoRA train script by @Akegarasu

# Train data path | 设置训练用模型、图片
pretrained_model="./sd-models/model.safetensors" # base model path | 底模路径
train_data_dir="./train/aki" # train dataset path | 训练数据集路径

# Train related params | 训练相关参数
resolution="512,768" # image resolution w,h. 图片分辨率,宽,高。支持非正方形,但必须是 64 倍数。
batch_size=2 # batch size
max_train_epoches=20 # max train epoches | 最大训练 epoch
save_every_n_epochs=2 # save every n epochs | 每 N 个 epoch 保存一次
network_dim=128 # network dim | 常用 4~128,不是越大越好
network_alpha=64 # network alpha | 常用与 network_dim 相同的值或者采用较小的值,如 network_dim的一半 防止下溢。默认值为 1,使用较小的 alpha 需要提升学习率。
clip_skip=2 # clip skip | 玄学 一般用 2
train_unet_only=0 # train U-Net only | 仅训练 U-Net,开启这个会牺牲效果大幅减少显存使用。6G显存可以开启
train_text_encoder_only=0 # train Text Encoder only | 仅训练 文本编码器



128和64可以换成32.32都可以,128生成144大小的lora模型。64生成70mb模型
6.开始训练,生成的safetensors文件找一个loss最低的使用
  total optimization steps / 学習ステップ数: 19400steps:   0% 0/19400 [00:00<?, ?it/s]epoch 1/20steps:   0% 42/19400 [00:41<5:16:43,  1.02it/s, loss=0.114]


上面显示第一个loss0.114
看剩下的几个,选最小的就行
7.模型使用


把lora模型放到具体位置,不推荐任何云sd,云sd感觉lora都是坏的,最好用本地的
主模型用sd1.5(人脸符合原图) 7gb或者4gb都可以,电脑好用7gb,不行选4gb
也可以用Chilloutmix-Ni作为主模型(生成的人脸想韩国人)
https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.safetensors

具体位置看图


photo_2023-02-23_13-21-12.jpg photo_2023-02-23_13-21-08.jpg Snipaste_2023-02-23_13-13-10.png


8.tags

best quality, black long hair, ultra high res, (photorealistic:1.4), 1girl,silver dress,(azur lane\), nsfw, nude,(Kpop idol), (aegyo sal:1), (light brown short ponytail:0.8), ((puffy eyes)),,hanfugirl,light green hanfu, floral print,


可以去civitai找符合模型人脸的tags,复制套用就可以,多试几次就可以,具体内容就是描述中文翻译
也可以去专门的tags网站自动生成tags,但是效果都不好,很费时间,个人建议c站上复制别人好看图的tags,然后微调
9.总结
训练素材的照片应该是越多越好,生成的图片才会丰富,当然几十张高质量图片也行
理论上只要有人物的高清正面照片,1-3个小时就可以合成自己想看的任何ai照片,自己欣赏即可,请勿传播。





00160-610144954-best quality black long hair ultra high res photorealistic_1.4 1girlsilver dressazur lane_ nsfw nudeKpop idol a.png
回复

使用道具 举报

0

主题

55

帖子

454

积分

初级丹师

Rank: 3Rank: 3

积分
454
发表于 2023-2-23 14:08:39 | 显示全部楼层
我是把自己练得模型放在你说的那个没用过的LORA调用文件下面,主模型用Chill。。。效果也挺好。
回复 支持 反对

使用道具 举报

9

主题

804

帖子

4280

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4280
发表于 2023-2-23 17:53:39 | 显示全部楼层
本帖最后由 omesa 于 2023-2-23 17:57 编辑

楼主教程很好,支持。就是人物图片,我看滚石和其他人只用了一百多张图效果就不错了,你说的1000张正面高清的会不会太多重复的了,我这几天看了几个up的教程,还需要各角度包括背面的,有些连鞋底素材都给ai学会了。还说lora最主要的不是素材,是那个和图片切割一起生成的txt文本,那个里面需要自己手动改写,里面留下的 是不用的词语。另外看了很多人做的,好像现在lora三次元的还没有哪个能full body正常的。
回复 支持 反对

使用道具 举报

9

主题

804

帖子

4280

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4280
发表于 2023-2-23 17:56:11 | 显示全部楼层
zuolian 发表于 2023-2-23 14:08
我是把自己练得模型放在你说的那个没用过的LORA调用文件下面,主模型用Chill。。。效果也挺好。 ...

我现在也很混乱,感觉下面那个调用,如果文本框里输入lora和模型名字,下面那个lora调用不启用也是可以使用效果的
回复 支持 反对

使用道具 举报

2

主题

11

帖子

731

积分

高级丹师

Rank: 5Rank: 5

积分
731
 楼主| 发表于 2023-2-23 18:45:24 | 显示全部楼层
omesa 发表于 2023-2-23 17:53
楼主教程很好,支持。就是人物图片,我看滚石和其他人只用了一百多张图效果就不错了,你说的1000张正面高清 ...

lora只主要炼脸啊,除了脸其他基本上都是主模型提供的,7gb.4gb的,你也可以炼专属的大模型,就需要用其他方法了,和txt没啥关系,sdai本来全身就有问题,不是你模型和素材或者tags的问题,手,脚这些需要主模型的更新
回复 支持 反对

使用道具 举报

9

主题

804

帖子

4280

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4280
发表于 2023-2-23 20:35:02 | 显示全部楼层
wzgrx 发表于 2023-2-23 18:45
lora只主要炼脸啊,除了脸其他基本上都是主模型提供的,7gb.4gb的,你也可以炼专属的大模型,就需要用其 ...

谢谢解答啊
回复 支持 反对

使用道具 举报

0

主题

17

帖子

780

积分

高级丹师

Rank: 5Rank: 5

积分
780
发表于 2023-2-24 09:09:16 | 显示全部楼层
请问只要正脸作为素材,那训练后,靠算法就能生成侧脸么,会不会生成的侧脸完全不像素材的人?
回复 支持 反对

使用道具 举报

1

主题

133

帖子

758

积分

高级丹师

Rank: 5Rank: 5

积分
758
发表于 2023-2-24 13:16:55 | 显示全部楼层
wzgrx 发表于 2023-2-23 18:45
lora只主要炼脸啊,除了脸其他基本上都是主模型提供的,7gb.4gb的,你也可以炼专属的大模型,就需要用其 ...

请问一下,如果脸放一个concept,身体放一个concept,会融合起来吗?或者lora只提供脸,那怎么保证出图身体会一致呢?感谢
回复 支持 反对

使用道具 举报

2

主题

11

帖子

731

积分

高级丹师

Rank: 5Rank: 5

积分
731
 楼主| 发表于 2023-2-24 15:28:38 | 显示全部楼层
hanshaw 发表于 2023-2-24 13:16
请问一下,如果脸放一个concept,身体放一个concept,会融合起来吗?或者lora只提供脸,那怎么保证出图身 ...

目前没有人试过
回复 支持 反对

使用道具 举报

1

主题

2

帖子

50

积分

高级丹童

Rank: 2

积分
50
发表于 2023-4-24 09:53:17 | 显示全部楼层
可以分享一下宋轶的LoRA么?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-7-24 02:06 , Processed in 0.085562 second(s), 10 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表