关于炼制底丹的方法，求大佬解惑

xyqttacr

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

目前论坛上关于正训的方法和步骤倒是很多，但是说如何炼底丹的贴子却很少

只找到几篇贴子简略的说了一下，而且参数各有出入
一是滚石大佬提到的
【新手入门】预训练模型的概念与用法

如何自己制作一个预训练模型呢?
有些老哥想自己调一个不寻常的模型结构，比如增加模型宽度，修改分辨率，那怎么才能自己制作一个预训练模型呢?
（推荐）正常创建模型，预训练模式选择n，然后src和dst的aligned文件夹中，放上你已有的人脸数据图片，src和dst重复也没关系，图越多越好，越杂越好。然后就挂机跑


二是随风大佬提到的
【随风技术论】DFL换脸技术浅论<一>
一、预训练

1、开始要不要预训练
AS：要，如果你的模型要复用，换人，那就必须要预训练，经我研究发现，这软件人们说的泛化能力其实是没有的，有的只是一种映射，映射前一次训练的样式效果。不管你放再多素材，学习再久，保存出来的模型文件大小都不会变，就是说里面的参数是没有增加的，只是里面函参数的数字位置变换而产生出来的视觉效果；而预训练能保存训练后的映射效果做为起始，所以有预训练的模型复用特别快，直接开始训练得再好，映射不能保存做为起始，换人复用时那些深层映射相当于从头开始；既我之前说的神丹经几次烂飘后就变废丹
2、预训练多久为好
AS：看你的需求，如果是做为基础模型那就让它一直练，因为这是没头的，练越久效果越好，以后转正常时做的起始越好；也随时可以转正常训练，记住预训练是个映射保存，练得越好，你换人时所花的时间越短；
3、预训练放什么素材
AS：这个也是没头的，放越多素材，里面的映射信息越多，更能适应你后期换人成像的速度，成像速度在于你预训练中的脸型差别与SRC、DST的相近值；所以那些死亡角度、侧脸都放多些不同的脸，这样你正常跑时成像就会很快；
4、预训练怎么开参数
AS：预训练时把蒙版【masked_training: True】打开，其它都关掉；预训练只有一组数据包，不涉及换脸变眼，只是为了成像，所以其它参数根本不需要开，BS开最大，你会发现不需要5W迭代成像已经很清楚了（这个要看你数据集的量）；等你什么时候准备正常跑时再把【lr_dropout: y】打开，跑个一段时间就可以用了。这里要注意，开了LRD后，就不要再关，让他一直开着跑，如果你开了又关，你的模型就会卡住不会再往深学习


三是wtxx8888大佬提到的
从零开始预训练底丹有什么推荐的流程吗？

均匀角度跟嘴眼优先一直开启，其他全关。
初期BS8跑素材量两倍，比如30万张，跑60万迭代。
然后BS极限跑到满意为止







所以现在有几个疑惑
1、根据滚石和随风大佬的说法，同样的训练集放入src和dst训练越多越好，这样的话是所有训练集打包成一个一起训练，还是分批训练？
2、根据随风大佬的说法，预训练只会映射前一次训练的样式效果，如果分批训练的话，第三个训练集开始训练时是否只会记忆第二个训练集的映射忘记第一个，还是3个训练集的映射全都保留？
3、如果要分批训练的话，每个训练集要训练到什么程度才能换下一个？看wtxx8888大佬的说明BS8跑2倍素材迭代，但是现在图像还是比较模糊没有细节出现。
4、参数问题：滚石大佬没说明参数，随风大佬说只开遮罩训练，wtxx8888大佬说嘴眼和侧脸都打开，那到底侧脸和嘴眼到底要不要打开？开和不开对以后的底丹效果有什么影响？
5、预训练完成之后是否要继续开其他参数训练?因为我看很多大佬分享出来的底丹参数都开过扭曲和lrd。




6、这是目前训练的参数，正在训练亚洲网红WF512真正高清真脸版
已经训练20多万次了，loss值已经开始下降缓慢了，细节还没有出现，
因为这个丹的四维我用四张图训练过0.09左右，细节已经非常详细，
所以丹的参数设置应该是没有问题
所以是否需要换下一个训练集或者调整参数关掉嘴眼再继续训练？

avtopalang

开嘴眼，学不到皮肤细节

htyy

为啥非要纠结练底丹呢，多把算力放正训上不香吗

ibaoger

预训练的实测结果：
如果开启 random_warp 扭曲，眼睛和嘴巴的学习速度会很慢，训练时间大概是不开的5倍以上；至于后期合成时会导致什么样的后果，暂时未知；
嘴眼优先 eyes_mouth_prio 这个影响的是先学习嘴眼，还是嘴眼和皮肤一样优先级，如果不打算训练到5百万以上，建议开着，可以提前看到效果；如果打算练到很高，那开关影响不大；
侧脸这个 uniform_yaw 如果侧脸素材足够，不建议开，毕竟自动补的侧脸你看不到，谁知道会给你自动补样子的侧脸，万一是妖怪脸呢（上面的扭曲也是一样道理）

xyqttacr

htyy 发表于 2024-5-30 10:50
为啥非要纠结练底丹呢，多把算力放正训上不香吗

因为384确实比320好的太多了！！！！找了好多地方liae384 416要么没有，要么有的也基本跑不动。论坛那个liae384和隔壁论坛的都跑不动  只能自己搞个跑得动的了！

魔幻蓝蚁

很认真的同学，找了那么多资料，其实自己慢慢研究一下。多做备份，你会找到适合自己的方法。听说LOSS不重要，看预览像了就OK了。我的LOSS经常在0.8左右，你都0.09了。但是我合成出来效果很好啊。

xyqttacr

魔幻蓝蚁 发表于 2024-5-30 16:54
很认真的同学，找了那么多资料，其实自己慢慢研究一下。多做备份，你会找到适合自己的方法。听说LOSS不重要 ...

主要是论坛没有这方面的详细资料，大多数都是在教如何在底丹上正训练的，所以有些地方还是有疑惑

魔幻蓝蚁

https://dfldata.cc/forum.php?mod ... 8446&extra=page%3D1这个楼主可以去看看，说得非常非常详细了

xyqttacr

魔幻蓝蚁 发表于 2024-5-31 14:50
https://dfldata.cc/forum.php?mod ... 8446&extra=page%3D1这个楼主可以去看看，说得非常非常详细了 ...

都是在别人底丹上正训的方法  还是没有太大的作用  他整理的那些都看过了

xyqttacr

又看到了一个wtxx8888关于预训练的回复，感觉应该是不需要开嘴眼