急急急请教前辈一个问题

125suker · 发表于 2023-3-12 11:35:36

请问前辈们一个问题，为什么渲染图的时候刚开始虚化的时候人物特别像，越往后越清晰的时候五官就不像了呢，而且变得比较不好看了？得如何设置参数呢，还是训练模型的时候出的问题？另外训练亚洲人脸大家都用那个底模训练呢

G2Omishi · 发表于 2023-3-12 18:18:49

本帖最后由 G2Omishi 于 2023-3-12 18:26 编辑

对，这类问题你问别人都会告诉你，模型训练的有问题，到底哪里有问题都说不清，因为没见到你的模型，没办法判断

以下我给出我的个人建议，你可以去自查哪里出问题了

一、训练前期出现的问题

1. 训练集出现的问题

有可能你的训练集很多照片不清晰，导致后期训练的时候出现奇怪的脸型，我在训练刘德华的时候，由于网上的很多华仔的照片都是上世纪的照片风格，最后做出来的图都是这种风格的，人物也很奇怪

2.tag的问题

不知道你是用那种预处理图片打标签的方法有两种

2.1 使用 BLIP 生成说明文字(自然语言描述)

这种需要你往上加你所需要的人物特征

2.2 使用 deepbooru 生成说明文字(tags)

这种需要你删掉你需要的人物特征

详情参考如何提高Lora模型质量-从图片预处理入手-【AI绘画】教程-deepfacelab中文网 - Powered by Discuz! (dfldata.xyz)

我是用的 deepbooru 生成说明文字(tags)

3.你训练的人物就很“奇怪”

通过我自己的实验，例如张子枫，周冬雨这种人物，学起来太困难了，真没办法。有些人物一练习就成
不是说他们长得多奇怪，而是我发现颧骨高的都很难去练lora

二、训练中出现的问题

1.训练的次数是否过高

过高的话，会出现过拟合，人物出现扭曲

2.模型基底的选择，3D推荐用 chilloutmix 2D 推荐NovelAI

3.学利率以及其他参数
我用的是kohya的脚本训练的，其他我尝试过，效果不尽人意，根据不同的人物调节参数专业性太强了，搞不懂
3月6日 kohya脚本更新可以自己调节学利率
详情参考【LoRA训练】不用再手动填写学习率，AI教你怎么训练自己。使用其他的Optimizer。 - 哔哩哔哩 (bilibili.com)
如何安装请参考

如何查看别人lora的训练参数呢？

下载别人的lora 把别人的lora放到你的
SDwebui\extensions\sd-webui-additional-networks\models\lora

选完了以后，在最右下角，你会看到别人的训练参数

对比一下，你看看哪里出现了问题

三、出图时出现的问题

1.你用的什么采样方法，不同的采样方法会有些不一致
2.采样迭代步数(Steps)的高低

这两者怎么去查？

通过stable diffusion 最下面生成XYZ图

比方说你想看5到30的每一次结果，每一步间隔5 你可以写 5-30(+5) 或者5,10,15,20,25,30
然后你就可以得到对比图，你能看到走到哪一步，用什么采样方法是最像的

3.你输入的tag问题，如果你觉得人物不真实，偏向于2.5D，你去C站看别人的prompt怎么写的，复制别人的试试

以上仅供参考，具体问题还要具体分析。