炼丹半年的一些总结(链接已更)

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:5  参与人数:2  我的评分:未评

逼着自己写的，本来想不吭声就这样躺平算了，当做炼丹半年无事发生，一箩筐笔记也删的差不多，但想到初来乍到的时候啥也不会，受到了坛友们的不少指点，有的甚至直接给素材给教程，炼丹这么久也有一些小的经验，(只要在睡觉电脑肯定在挂机炼丹，显卡从4060一路换到4090，没怎么中断过)，模型一个接一个，除了试参就是在乱整，掉进的坑无数，自己之前的帖子也有很多错误的地方，直到踩坑才领悟。

就长话短说，想到什么说什么，也不做逻辑理顺了。
dfl模型没有真正意义上的泛化，有的只有各种一对一的映射再加上函数变换，因此频繁更换素材不会增加模型的泛化能力，模型素材最好一次性给够，不要分批次投放，训练阶段频繁通过更换素材来擦写模型反而会让模型性能降低。
模型正训阶段，不要搞对练，比如把dst放进src里面练，dst人脸特征一旦写入src模型并经过长时间训练，后续除了删映射文件没有任何办法完全可以通过训练擦除或者覆写掉这些特征，src的人脸权重会被稀释，除了会降低模型性能，还会给模型训练带来极大误导和障碍，影响到模型的正常训练和收敛。
人脸权重被稀释的结果就是，首先很难练出src的真实皮肤质感，脸部不出细节，磨皮效果严重，模型清晰度卡到一定的loss就不再进步了，gan也不出效果，再就是dst-dst的映射无法被扭曲清除，换的脸不怎么像src，甚至极端情况下，扭曲一关开gan训练一段时间换脸成像又迅速回弹到dst那里，这种情况下会严重影响模型的二次复用，在保证src合理数量前提下要严格控制人脸一致性，不要混用，你的src不可能同时拥有无敌的面部细节又同时有所有的dst准确映射，df丹和liae都是如此。
关于模型的复用，因为模型一旦被写入就不可完全被后续迭代训练完全擦写的特性，你复用别人的神丹，肯定会受到别人src的影响，结果就是:1.二次训练的人脸清晰度永远不可能赶上别人原版模型的清晰度，相似度也同理。2.换脸成像的相似度会受到影响，无法通过扭曲解决，如果尝试第三次换src情况会进一步叠加劣化，不过一次复用应该在大多数人的接受范围之内，有些人会删除src映射文件来复用别人的丹，但是跟重练好像也没啥区别，所以通过换src复用别人神丹的结果就是，一次残，二次废，新手用别人的丹无所谓，有点追求的老手最好自己练，一个src对应一个丹。
模型是不是训练越久越牛逼？要不要追求千万级别迭代数量？我的看法是，分两种情况:1.在没有根本性的算力改善的情况下不建议，比如不是从bs8批量的显卡升级到bs32批量的显卡，没必要盲目追求迭代，模型性能和训练的收益不会因为迭代多就更牛逼，模型最终换脸的皮肤质量上限是你的src(预览第二列)决定的，dst(预览第四列)决定的是细节上限。2.另一种情况，你的dst没有重复的人脸，而且数量又多又复杂，模型四维中的dd和ed又没办法开很大，批量也来不到20以上，这时就只能刚迭代了。
有什么办法能让src有丰富的面部映射和光照，相似度又可以不受到dst的影响？软件作者早就给出了答案:1.预训练，2.随机扭曲要给够。预训练的素材就是你能收集到的所有人脸切脸并写入遮罩(包括src)，预训练素材越多越杂模型越强，我看到论坛很多人是不支持预训练的，直接就进入正训。我个人使用感受就是，预训练会让src继承大部分dst的特征映射，极大降低随机扭曲的难度和模型成型迭代的时间，同时又不会有正训中素材直接对练的一系列缺陷，还不会容易出现卡loss、模型还没练出细节就收敛导致原地踏步之类情况，还能很大程度上消除虚影，模型不进行预训练直接进入正训是很吃亏的，src素材不足的缺点会被无限放大。随机扭曲除了脸部特征融合，也有利于固化src，防止反弹。
总结下来就是没有什么万能底丹，但是有万能预训练底丹，别人练的再好的成品或者半成品丹是别人的，你一旦换src复用模型质量会大打折扣。
关于一些大参数，随机扭曲、lrd、真脸、gan这些，有时间再讨论一下，也有可能不更了。
下班回去会在这个帖子下面补个链接，就是我自己现在在跑的预训练模型，df-udt的，288-512-80-96，8g-12g的显卡应该也可以跑了，用6万张不同人脸练的，这半年来陆陆续续精挑细选吃苦受罪收集的，写入了精改后的遮罩。
到手直接转正训就行，角度均化建议开，颜色转移先不用开，随机扭曲全程开，极限角度练不好的时候可以关扭曲练几万次再开，而模型带了参数t，自带轻微扭曲效果，也没有其他的要说了。

。

显卡跑不动大参的256-320-80-96小参下这个[url=通过网盘分享的文件：model 256.zip 链接: https://pan.baidu.com/s/1YwYaEYY3iz9fycXJHV9wBA?pwd=di8j 提取码: di8j]model256[/url]

dfl9999

Wieso 发表于 2025-1-1 09:00
3060ti fe 8G显存的。大模型我显卡跑不了一点。后来我用小模型256-320-80-96，bs改到6才能开始跑不报这个 ...

用原版别用猫版，我这个参数可以跑bs40

dfl9999

alexanderway 发表于 2024-12-16 03:22
老师我碰到个难题：
5-1.XSeg) data_src mask - remove.bat
和

前者是删除遮罩蒙版，点了src图片就没有遮罩了，后者是删除编辑或者训练的遮罩，点了原本遮罩还在，正训的训练遮罩是指训练遮罩内的人脸，不开训练遮罩内人脸就是训练整个图，跟训不训练遮罩毛关系都没有。你点应用遮罩的前提是你model文件夹里面有遮罩模型，没有点了也没用。
你在望文生义乱点个啥，论坛有新手教程，看懂之前不要乱操作……

wtxx8888

dfl9999 发表于 2024-12-11 18:55
我说怎么这几天没看到你，原来这个丑头像是你

哈哈，换个头像。
LIAE光影好，主要是2倍AE，乃至4倍的作用，当然也有，起点是DST的缘故。
DF实际上也不算资源耗费少，只是作者控制单倍AE，是多少，就运算多少。
LIAE的AE在算法里，是两次乘以2的，输入一次（AB与B的输出都乘以2。此时输入还是单倍），运算的再次（AB档的1倍输入与2倍输出，全部翻倍，代表输入变2倍，输出变4倍）。

大家习惯，看明面上的四维，DF起步，就亏了一半的AE。当然资源的耗费，也要少上不少。

最近突发奇想。想给LIAE加上真脸，然后报错对不上，才发现的。
LIAE的数据是4倍AE，跟单倍AE运算的真脸，肯定对不上，所以LIAE开不了真脸。（其他的数据，也不对）

wtxx8888

hzy 发表于 2024-12-11 13:04
期待你的见解

预训练，肯定是要的，图量不需要特别多，官方推荐，也是5000左右就足矣。
但这个5000，是有特殊标准要求的。
更多的人是懒，随便整一堆图，合一堆就完事。
嗯，简单来说，就是靠堆量，去拼质。
所以弄的，大家都无脑堆量了，省事呗。
而且也不能说，完全没有道理，只能说，仁者见仁智者见智吧。

至于过拟合，欠拟合。也是懒的病。
非想一股脑，参数就直接开到位，并且练到特别清晰，节省正训的时间。
这才会出现过，欠拟合。

丹架构的参数，以及四维参数，这个搭配千变万化并且影响巨大，更是不容易找到最佳平衡点。

大家一般，都用DF跟LIAE对比效果，实际上，根本就没得比。
原因在于，DF运算于显示的AE下（例标参256AE）.
而LIAE运算于，显示的2倍AE为输入，显示的4倍AE为输出。
LIAE光AE值，最少碾压DF一倍有余，比个屁呢。
就想比，DF那得AE是512，才能跟LIAE的AE256比。
这时的效果对比，LIAE不见得，会比DF强到哪去。
这里也可以明确，AE值的作用超级巨大，模型所有参数中，绝对的NO.1。（个人见解，清晰度的上限，光影与颜色的适性上限）

Terea

谢谢分享，对我们这些新手来说帮助太大了！

chaorenx

受益匪浅，期待更多的经验分享！

wangdaye

别练到过拟合就好

xunlian

wangdaye 发表于 2024-12-11 09:56
我都训练3年各种底丹了    素材多了 很难学到细节特征 模型容量有限的 放10多20万杂图还是浪费。虽然素材多 ...

基本赞同你的观点
预训练阶段，我个人观点是不需要训练很多，什么几百W，训练到很清晰，这都过头了。
预训练阶段本身就是学习基本特征的阶段，打下基本功，为后面转正做基础。既然是打基础，就没必要成像清晰。（不管是正训还是预训练，成像越清晰，映射关系就会越强）。预训练阶段本身就是学基础而非建立映射，但是这两个却偏偏又是同时进行，本身也是矛盾的。所以预训练阶段就要采取措施尽量压制映射关系（大量的素材或者开启扭曲）

同时需要保持SCR和DST素材的比例，所谓的专用模型，单SCR 万人DST，DST素材过多，会严重影响编码器的权重。

无论DF还是LIAE模型，编码器都是共享的。一旦关闭扭曲，系统会就更加专注映射关系，DST权重过高，自然就越来越像DST了

wangdaye

xunlian 发表于 2024-12-11 10:50
基本赞同你的观点
预训练阶段，我个人观点是不需要训练很多，什么几百W，训练到很清晰，这都过头了。
预 ...

就是你说的这样

wtxx8888

本来打了一堆文字，但想想，每个人，都会认为自己的理论，是最好的。
所以，我又删了~哈哈。
楼主继续加油吧~我就冒个泡得了。

hzy

wtxx8888 发表于 2024-12-11 11:04
本来打了一堆文字，但想想，每个人，都会认为自己的理论，是最好的。
所以，我又删了~哈哈。
楼主继续加油 ...

期待你的见解

mzh920

有很多是不同经验，不过这个没有绝对正确的