关于训练万能模型的一点心得

羊衔玉

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:5  参与人数:3  我的评分:未评

看到这个贴子能对大家有帮助，真的很高兴，这里也建议水友们炼丹一定要有耐心，在论坛里看到好多万能模型和专模，都是太心急导致效果并不好，我认为，一个丹达到百万次之后，才仅仅能看到离上限还有多远，切不可急躁冒进。


前言：
        自从滚大发布万能模型训练方法之后，自己就一直摸索万能模型的训练，同时参考了随风几位大佬的经验，练出来两个万能模型[9.9日更新]万能模型-宋轶-224f丹底和万能模型-杨超越，效果还不错，现在总结一下自己的训练心得分享给大家
0.什么是万能模型？

      - 万能模型是指这个模型可以直接放到model文件夹下，dst切好人脸，src文件夹里无需放任何东西，可以直接合成的模型，本质上是省略了训练和src切图的普通模型

first.底丹的选择：             

- 之前推荐224f丹底，经过一段时间的探索后，我认为猫之汉化的新224WF在各个方面已经小压224f一头了，在此我推荐224WF作为新手入门丹。底丹选择应该遵循以下标准：
       1.自己的显存能够承受开启GAN的消耗
       2.优先选择高质量的神丹，这里推荐论坛的测试贴神丹之间的高低之分，测试了40多个丹后，列了个排名
2.src数据集的选择：
       - 选择一个好的src数据集那么万能模型就成功了一半，这两个万能模型的数据集都是选择多角度、多表情、多光影、不染色（如黑白）的GPEN数据集，并且删减冗余人脸，数据集保持在5000张左右，简单来说，应该尽量达到以下标准：
     - 多角度
     - 多表情
     - 多光影
     - 不染色（如黑白）
     - 清晰度越高越好，而且现在用GPEN增强后的图片进行训练会有油光脸的现象发生，不建议直接使用GPEN
     - 删减冗余人脸
在这里强烈推荐夢生若汐顔 大佬的src数据集与【老鸟进阶】练就超清Src素材的必要事项，观察他数据集的构成与切图方法

last.训练方法：
         万能模型的实现原理滚大的帖子【万能模型训练方法】你没看错，就这么简单已经说明，这里详细说一下我的具体训练步骤：         

         - 常驻打开项：true_face_power: 0.01（楼里有朋友说0.005也可以，感兴趣的可以自测一下，这个主要是抽取特征的程度） 和 uniform_yaw: True，ct_mode: rct 这三个一个是万能模型训练的关键，一个是均化样本开关，一个是补充光影      
         第一阶段，bs设为4，random_warp设为true，该阶段主要是让底丹学习src的人脸。这个阶段bs4是最优，能开大建议也开到bs4，直到loss值不降反升或者出现波动。然后打开lr_dropout，继续迭代到loss值不降反升或者出现波动。建议迭代30W次

         第二阶段，关闭random_warp，打开eyes_mouth_prio，bs设置为显卡能承受的极限值，该阶段主要是训练眼睛和嘴巴，眼珠位置和高光位置、嘴巴角度决定了合成图的表情是否自然，直到loss值不降反升或者出现波动。建议迭代10W次对于使用新版dfl的朋友，可以打开random color训练一顿时间，然后关闭，再打开random hue，设置为0.05，这两个参数对于色调提升明显，合成更自然
         第三阶段，这个时候眼睛和嘴巴角度应该已经非常贴合了，关闭第二阶段的参数，GAN设为0.001-0.01之间，打开Enable gradient clipping。开始训练细节，直到你觉得细节满足需求或者不再变化为止
         训练完成大概在50W-80W迭代之间，这个时候万能模型基本成型了，可以直接进行合成查看效果，针对不足的角度添加素材重新训练，直到自己满意为止

-1.合成：
       合成阶段要讲的不多，
       但是一定注意dst脸型！！！一定注意dst脸型！！！一定注意dst脸型！！！脸型不像的dst用什么丹合成都不像，这也是现在dfl的弊端，同时合成注意颜色模式，遮罩模式，按T调整超分辨率等



剩下的想到再补充

dreamtear

大佬请教一下
第一步的loss值半个小时只降低0.001左右的话算不算第一阶段差不多了，虽然还是有再往下降的趋势，但是太慢了；
另外第一步迭代15w次了两个loss值分别在0.20和0.52左右，这个算正常么，因为看预览图还是有点模糊的

丸丸

测试0.005看看

羊衔玉

HXIAOH 发表于 2021-10-11 09:40
大佬什么时候继续出万能，我继续买

随缘出吧，最近没有什么好的数据集

plotchen

谢谢分享，不过有些步骤有待商榷

羊衔玉

Hedwig 发表于 2021-10-10 21:01
同行啊，我也用的224练万能。不过我和楼主的方法有点差别，我第一阶段bs4扭曲，然后拉满进入第二阶段侧脸和 ...

想起来我也开了ldr，是在第二阶段和眼嘴一起开的，感谢提醒~

deepfacecple

总结的不错 最近在研究万能图片换脸模型 原理差不多 但是要求更精细 因为图片基本都是4K+的分辨率

无绝期

牛逼克拉斯

zpg

前排看看

Hedwig

同行啊，我也用的224练万能。不过我和楼主的方法有点差别，我第一阶段bs4扭曲，然后拉满进入第二阶段侧脸和眼嘴，第三阶段IRD+tf，最后小GAN一下

whl716694

支持一下

zbw5593010

新的amp好像练不了

羊衔玉

zbw5593010 发表于 2021-10-10 22:41
新的amp好像练不了

只针对df