DF-UDT 448-480-96-96 预训练模型

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

-------
-------
因为上一个丹的前车之鉴，SAEHD模型预训练阶段过多的训练次数没有任何意义，这个丹保持在100万迭代左右。
预训练素材库用的FFHQ精挑2万张加上Pexel上的1万2千张超清人脸，作为纹理基准，剔除了所有男性人脸，又下了JVID 900多期精挑人脸作为亚洲人脸补充，全部是人力逐张挑选，无遮挡，切图1024和768进行训练。


使用建议，到手转正训，开启随机扭曲，其他参数不动，保持学习率1E-05不用调整，等LOSS值降到0.4以下再调整到5E-05，然后打开DST翻转，接下来就按照正常炼丹流程练。

关于批量大小，BS 4是平衡质量和速度的最佳选择，过大的批量除了加速收敛不会给丹的质量带来任何额外收益，显存窘迫的BS 2也是完全可以接受的，DFL最新版跟合体版自带类似梯度积累的效果，会自动积累梯度来模拟大批量，哪怕BS1也不会轻易炸梯度，完全可以放心训练。

xunlian

狗蛋 发表于 2025-3-13 09:14
1e-05和5e-05有什么区别，小的学习率是更能学到面部的一些细节特征，稍大的学习率更容易收敛，是这个意思不 ...

学习率的大小代表波动范围的大小。
举个例子 画一个直径10的园，学习率高的话，第一次画一个直径2的圆，loss函数反馈结果不对，小了。接着又画一个5的圆，loss函数反馈结果不对，还是小了。第三次可能就画一个20的圆，loss函数反馈结果不对，大了。第四次又可能画一个15的圆。波动性就很大。

学习率小的话，第一次画了一个2的圆，loss函数反馈结果不对，小了。后面就会小范围波动去画圆（2.1 2.2 2.3 2.4 直到画到10位置）。

学习率小代表修正的步伐慢，耗时，但是稳定。适用于训练后期，学习率大，速度快，但是不稳定，适用于训练前期。
对于人脸学习，人的脸型轮廓，五官，这些特征比较明显，大的学习率有助于快速学习。人脸微小特征，特征不明显，需要小学习率去慢慢学习

wangdaye

狗蛋 发表于 2025-3-13 09:14
1e-05和5e-05有什么区别，小的学习率是更能学到面部的一些细节特征，稍大的学习率更容易收敛，是这个意思不 ...

大学习率泛化好 收敛快 但是波动大  小学习率收敛稳定波动小 收敛慢  一般大后期或小bs  容易出现色斑或剧烈波动  可以用小学习率去限制 让模型平稳训练

Cxsmo

if your dst has no obstruction and angles and stuff then it's not a good one and my v2 of my dst is coming whenever the post gets reapproved

dfl9999

Cxsmo 发表于 2025-3-12 17:47
if your dst has no obstruction and angles and stuff then it's not a good one and my v2 of my dst is  ...

Facial training does not require occlusion, as minimal occlusion is necessary to train a truly accurate model. Handling occlusion is the job of the masking model, and the facial model only needs to learn the correct face

mjy9921130

就等你这个高分模型了！！！感谢！谢谢

pasanonic

为啥要一开始就打开学习率

dfl9999

pasanonic 发表于 2025-3-12 23:03
为啥要一开始就打开学习率

炼丹的不知道学习率不合适吧……

狗蛋

1e-05和5e-05有什么区别，小的学习率是更能学到面部的一些细节特征，稍大的学习率更容易收敛，是这个意思不

Cxsmo

dfl9999 发表于 2025-3-12 17:55
Facial training does not require occlusion, as minimal occlusion is necessary to train a truly acc ...

yeah but if you train it using obstruction dst then it will show generalize quicker when using obstruction dsts