deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 3186|回复: 13

lora炼丹怎么才像本人

[复制链接]

2

主题

11

帖子

125

积分

高级丹童

Rank: 2

积分
125
 楼主| 发表于 2023-3-30 21:42:30 | 显示全部楼层 |阅读模式
我拍自己的照片,用chilloutmix_Ni和官方的1.5,练出来都不像我自己,出来的要么外国人,要么韩国人的脸。

我拍了31张自己的照片!用的秋叶的脚本,练了4炉,全炸了!也不知道哪里出问题?

下面是我填写的东西,请指正

# LoRA train script by @Akegarasu

# Train data path | 设置训练用模型、图片
$pretrained_model = "D:\stable-diffusion-webui\albbe\lora-scripts\sd-models\chilloutmix_Ni.safetensors" # base model path | 底模路径
$train_data_dir = "D:\stable-diffusion-webui\albbe\lora-scripts\train\zhao" # train dataset path | 训练数据集路径
$reg_data_dir = "" # directory for regularization images | 正则化数据集路径,默认不使用正则化图像。

# Network settings | 网络设置
$network_module = "networks.lora" # 在这里将会设置训练的网络种类,默认为 networks.lora 也就是 LoRA 训练。如果你想训练 LyCORIS(LoCon、LoHa) 等,则修改这个值为 lycoris.kohya
$network_weights = "" # pretrained weights for LoRA network | 若需要从已有的 LoRA 模型上继续训练,请填写 LoRA 模型路径。
$network_dim = 64 # network dim | 常用 4~128,不是越大越好
$network_alpha = 32 # network alpha | 常用与 network_dim 相同的值或者采用较小的值,如 network_dim的一半 防止下溢。默认值为 1,使用较小的 alpha 需要提升学习率。

# Train related params | 训练相关参数
$resolution = "512,512" # image resolution w,h. 图片分辨率,宽,高。支持非正方形,但必须是 64 倍数。
$batch_size = 1 # batch size
$max_train_epoches = 10 # max train epoches | 最大训练 epoch
$save_every_n_epochs = 2 # save every n epochs | 每 N 个 epoch 保存一次

$train_unet_only = 0 # train U-Net only | 仅训练 U-Net,开启这个会牺牲效果大幅减少显存使用。6G显存可以开启
$train_text_encoder_only = 0 # train Text Encoder only | 仅训练 文本编码器

$noise_offset = 0 # noise offset | 在训练中添加噪声偏移来改良生成非常暗或者非常亮的图像,如果启用,推荐参数为 0.1
$keep_tokens = 0 # keep heading N tokens when shuffling caption tokens | 在随机打乱 tokens 时,保留前 N 个不变。

# Learning rate | 学习率
$lr = "1e-5"
$unet_lr = "1e-5"
$text_encoder_lr = "1e-6"
$lr_scheduler = "cosine_with_restarts" # "linear", "cosine", "cosine_with_restarts", "polynomial", "constant", "constant_with_warmup"
$lr_warmup_steps = 0 # warmup steps | 仅在 lr_scheduler 为 constant_with_warmup 时需要填写这个值
$lr_restart_cycles = 1 # cosine_with_restarts restart cycles | 余弦退火重启次数,仅在 lr_scheduler 为 cosine_with_restarts 时起效。

# Output settings | 输出设置
$output_name = "zhao2" # output model name | 模型保存名称
$save_model_as = "safetensors" # model save ext | 模型保存格式 ckpt, pt, safetensors

# 其他设置
$min_bucket_reso = 256 # arb min resolution | arb 最小分辨率
$max_bucket_reso = 1024 # arb max resolution | arb 最大分辨率
$persistent_data_loader_workers = 0 # persistent dataloader workers | 容易爆内存,保留加载训练集的worker,减少每个 epoch 之间的停顿
$clip_skip = 1 # clip skip | 玄学 一般用 2

# 优化器设置
$use_8bit_adam = 1 # use 8bit adam optimizer | 使用 8bit adam 优化器节省显存,默认启用。部分 10 系老显卡无法使用,修改为 0 禁用。
$use_lion = 0 # use lion optimizer | 使用 Lion 优化器


回复

使用道具 举报

9

主题

75

帖子

1168

积分

初级丹圣

Rank: 8Rank: 8

积分
1168
发表于 2023-3-30 22:05:26 | 显示全部楼层
像与不像我觉得很大一部分是因为预处理的问题。自己拍的照片素材方面应该不是问题,我觉得最大可能是处理字幕问题,详细可以看看这大佬的贴,我炼出来的挺像的

https://dfldata.xyz/forum.php?mod=viewthread&tid=12983
回复 支持 反对

使用道具 举报

43

主题

2049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
11617
发表于 2023-3-31 00:39:40 | 显示全部楼层
权重给低点。多练几个混合着用
回复 支持 反对

使用道具 举报

2

主题

11

帖子

125

积分

高级丹童

Rank: 2

积分
125
 楼主| 发表于 2023-3-31 07:54:24 | 显示全部楼层
manlyboy2 发表于 2023-3-30 22:05
像与不像我觉得很大一部分是因为预处理的问题。自己拍的照片素材方面应该不是问题,我觉得最大可能是处理字 ...

我用的就是这个方法,总的来说出来的图,我不认为像我。脸都变形了。
回复 支持 反对

使用道具 举报

5

主题

189

帖子

2334

积分

版主

Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30

积分
2334

见习版主勋章优质版主勋章

发表于 2023-3-31 13:09:52 | 显示全部楼层
优化器用lion试试
AI绘画讨论交流QQ群748167404
回复 支持 反对

使用道具 举报

46

主题

755

帖子

7797

积分

高级丹圣

【少女之友】

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7797

开心娱乐节日勋章

发表于 2023-3-31 13:51:55 | 显示全部楼层
试试中间产物
回复 支持 反对

使用道具 举报

2

主题

62

帖子

402

积分

初级丹师

Rank: 3Rank: 3

积分
402
发表于 2023-4-1 00:14:27 | 显示全部楼层

这个用了容易过拟合
回复 支持 反对

使用道具 举报

2

主题

62

帖子

402

积分

初级丹师

Rank: 3Rank: 3

积分
402
发表于 2023-4-1 00:17:10 | 显示全部楼层
可以把大头单独裁出来
回复 支持 反对

使用道具 举报

2

主题

11

帖子

125

积分

高级丹童

Rank: 2

积分
125
 楼主| 发表于 2023-4-1 09:55:35 | 显示全部楼层
tian316891 发表于 2023-4-1 00:17
可以把大头单独裁出来

试过了用相机拍摄头部,结果出来还是不像自己
回复 支持 反对

使用道具 举报

2

主题

11

帖子

125

积分

高级丹童

Rank: 2

积分
125
 楼主| 发表于 2023-4-1 19:29:33 | 显示全部楼层

KOHYA_SS用了lion,训练次数100次,个人大头照19张,图片尺寸就是相机尺寸缩放,出来的文件9M多点,脸型有点像,但也不是我,现在我重新出去拍照加了全身照和动作50张,也不知道行不行。LR Scheduler选择的是cosine_with_restarts,底膜这次用了基于Chilloutmix0.3 realistic2.0_1.3,0.7的混合模型训练,希望可以出自己。。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-5-20 23:11 , Processed in 0.097863 second(s), 10 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表