给新手分享点模型训练经验和看法

无敌小金鱼 · 发表于 2021-10-15 22:13:30

星级打分

1
2
3
4
5

平均分:5 参与人数:2 我的评分:未评

本帖最后由无敌小金鱼于 2021-10-15 22:23 编辑

我目前只做1080P视频，所以很多时候DST视频码率不会特别高算是中清晰度，模型训练这块目前已经基本上没有什么问题，脸部细节也都能练出来了，睫毛皱纹嘴唇纹理等。我用的模型是224F针对1080P的视频来说完全是很足够了，除非你要搞大脸特写。所以在合成阶段很多时候我甚至不敢开超分辨率，就是为了贴合原本视频的清晰度，所以在合成阶段建议反复按~和1来对比原脸和合成脸，不然脸太清晰了反而很违和。
新手可以看下这位大哥的帖子，按他这个步骤肯定没问题，在有神丹加持的情况下可以很快出效果。
https://dfldata.xyz/forum.php?mod=viewthread&tid=3708&extra=&page=1

根据他的帖子，我再来总结一下，训练模型的步骤拢共就三个大步骤，就和画画的思路是一样的，先整体后细节，所以训练前你必须要弄懂每个参数的意义以及它和画画的这种思维关系。

第一阶段，小BS，开随机扭曲和侧脸，这一步的目的就是快速的训练脸型轮廓，训练阶段可以观看2和5列的合成图，注意看脸型第2列的脸型和原图相似度，再观察5列被替换后的脸型是否走样。
            第5列的脸型不能完全去参考第4列，因为不是同一个人，是不可能完全一样的，要是一样才奇怪，主要参考1和2.

第二阶段，大BS，开启眼睛嘴巴强化，关掉随机扭曲，开启学习率，这一步就是为了学习怎么刻画眼睛和嘴巴，因为你的人脸轮廓已经画好了，不用改变了，接着就开始刻画五官了。
               对比参考和上一步一样还是看2和5列，眼睛嘴巴的位置的形状是否和原图接近。
第三阶段，大BS，关闭眼睛嘴巴强化，关掉随机扭曲，开启学习率，开启gan，开启梯度剪裁，这一步的训练就是眼睛的睫毛，嘴唇纹理，以及脸部皱纹这些细节，也是一幅画作的收尾阶段，

简单总结就是小BS快速勾勒轮廓，大BS中速刻画五官，大BS慢速描绘细节。以上提到的参数数值开多少可以参考上面的帖子。

所以，新手需要反复参考滚石关于模型训练参数的详解：https://dfldata.xyz/forum.php?mo ... =642&extra=page%3D1  多看几次基本上你就记住这些参数是干嘛的了。

综合讨论区里有很大佬的经验比教程更有意义，需要反复研究，其实模型的训练并不是最难点，反而我觉得SRC和DST的难点更多，到了中后期你肯定想要自己去做素材，素材是决定了你最终效果的，就像厨师炒菜一样，素材就是你的原材料，模型神丹相当于一个经验丰富的厨师，自己从零开始的丹就是新手学厨，如果你的素材不够好，都是些烂菜烂肉，再牛逼的厨师也炒不出好菜来。
制作好的素材需要借助的工具比较多，你甚至可能需要学习其他软件，比如最近我就在学习facebuilder来重新建模人脸来补充SRC的角度不够的问题，剪辑素材，筛选素材，补充素材，高清化，遮罩编辑，这一通学习下来你起码得耗费一星期，这也是成为高手的必经过程，AI需要学习，我们人也是一样的，以后有时间我会分享更多更简单易懂的经验，非常感谢论坛里的各位大佬的经验分享，我几乎是翻烂了你们的帖子从中学到了很多有用的东西，由衷的感谢！

无敌小金鱼 · 发表于 2021-10-17 16:57:34

本帖最后由无敌小金鱼于 2021-10-17 17:01 编辑

noob2021 发表于 2021-10-17 16:25
请问一下楼主，如果我有几个不同的人的src素材，那这些人应该每人用一个模型吗？还是说一个模型可以给不同 ...

你不想搞太乱的话就专人专模，反正一个模型也不会很大，懒得换就一直迭代用就行，你之前练过的SRC信息也都存在这个模型的，下次想换回来之前用过的SRC也能很快出效果，毕竟模型以前已经练过一次了，因为神丹在出炉之前，也是放了N种不同的SRC来练的，如果你的src素材足够高清角度也足够，并且你不想老换那就存一个专人专模就行，也就是所谓的万能模型。
不过不管复用src也好还是练新的也好，还是要遵循一下我说的三大步骤，只不过复用的话迭代不需要那么长时间。专人专模的话就可以免掉三大步骤了，或者轻微走个过场看看效果。

无敌小金鱼 · 发表于 2021-10-17 17:18:14

noob2021 发表于 2021-10-17 17:02
感谢楼主解答，那我如果只是更换了dst的话需要再用这三个步骤走一遍吗，另外模型复用的话迭代大概多少次 ...

专人专模就不需要走直接合成就可以，当然你也可以轻微跑一下看看效果。
复用的话迭代多少次说不定啊，得看你的丹本身练得怎么样，主要是以看到的效果为主，觉得合适了就可以停了，还有loss的值，基本上0.2-0.3效果就挺不错了，结合预览来看脸型，细节啥的都出来的话就差不多了。

别人的神丹你也一样要训练啊，因为他的丹里不一定有你所需要的src，如果是专人专模就不用了。我个人是比较推荐找个牛逼的神丹然后练专人专模，这样你合成可以节省很多时间，也方便管理，无非就是占点硬盘空间。

13789753679 · 发表于 2021-10-15 23:53:13

收藏了学习

54724607 · 发表于 2021-10-16 00:04:03

谢谢分享~~

zgz · 发表于 2021-10-16 00:15:07

讲的很好，有没有性价比高的硬件推荐一下，我感觉这个更重要

无敌小金鱼 · 发表于 2021-10-16 04:36:03

zgz 发表于 2021-10-16 00:15
讲的很好，有没有性价比高的硬件推荐一下，我感觉这个更重要

配置肯定越高越好啦，但想256分辨率起步比较爽一点的最好是能GTX2070起步，反正别少于8GB显存。

lkkhng · 发表于 2021-10-16 07:31:46

学习了谢谢楼主大大无私的分享

HXIAOH · 发表于 2021-10-16 09:59:23

学到了，感谢大佬

2605088505 · 发表于 2021-10-16 10:33:00

感谢大佬分享，大佬牛皮

see466 · 发表于 2021-10-16 10:47:40

非常感谢大哥！

omesa · 发表于 2021-10-16 11:06:25

谢谢分享经验，楼主什么显卡配置

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

给新手分享点模型训练经验和看法

评分

荣誉会员勋章

小有贡献勋章

万事如意节日勋章