萌新的一些疑惑，请教大佬们

xylego

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

萌新一枚，刚逛了论坛2天。有一定计算机基础。基础新人帖，大致都过了一遍，以下是个人的一些疑惑和理解，为避免灌水嫌疑把问题集中汇总在一起了，求大佬们赐教


1. 为节省时间，目前使用猫之汉化【免费神丹作为底丹】训练，先在此膜拜大神的奉献和开源精神。请问用这样的底丹训练是否一定要严格遵循 滚石 大佬建议的流程与迭代次数？


目前src用单人图训练了15w次左右，源损失和目标损失都在0.16左右，请问这算可以吗?
预览图看起来的效果：
第2列已经很接近第1列
第4列已经很接近第3列
第5列的合成图表情已经和第4列基本一致，但是合成的人物不太像src。

2. 我的src素材虽然不多，但data_src\aligned中也有1000张左右的源图像。但是迭代了15万次以后，为什么在训练预览的窗口里的第一列翻来覆去总是那么3-5张素材图?
PS：由于缺乏源素材，我的data_src\aligned中的头像是从不同视频中切出来的，命名不连贯，请问跟这有关吗？我目前的理解是，一切训练的源素材src才是关键，不需要按视频教程里严格的一步一步跑bash 来 切视频/切图。自己只要能找到合适的源头像放到data_src\aligned中就行,命名应该也没必要连续。不知道对不对。

3.我的src中闭眼素材不多，但也有一些。加上用的本来就是已经练好的底丹，一开始的时候合成图像还会闭眼，但是训练了15w次以后睁眼了，请问怎么搞？
PS：我训练中开了 eyes_mouth_prio: True ，在后续训练中是否需要关掉这项让合成图像能闭眼？

4. 假设我有某底丹A，我已经使用了A底丹+某遮罩训练了固定一个人（比如神仙姐姐），训练结束后我是否可以理解为这个A底丹已经变成了更擅长训练神仙姐姐的B丹？ 那么当我要换人进行训练的时候，应该用最初的A丹来炼好还是用B？

5. 好的万能丹是不是无法弥补素材极度缺失的情况？例如我10张以下的源素材，且大量为正脸(无侧脸或闭眼或其他表情），底丹能弥补吗？
如果不能，我今天看到的思路是先用roop把 【单张图片+dst视频】变成视频， 再把该视频切图作为源素材训练，请问是否可行？
我个人roop使用经验是正脸或许还行，但是一旦涉及到其他角度脸就崩了。。那到头来不是还是缺少侧脸原素材吗？

问题有点多，希望能有大佬耐心解惑。

lknet

1,不是必须按照,但是按照这个步骤可以让人更快了解dfl的大概工作流程和原理
2.任意合适的图片放在data_src目录里,进行提取脸部的操作后得到align目录里的脸图,这些脸图就可以用,文件名不用连贯,但是没有经过提脸的图片dfl是不识别的.
3.睁眼闭眼只能通过增加丰富素材来解决,之前闭眼随后睁眼是因为之前模型记忆的有通用泛化的闭眼数据,经过你的素材训练后这些泛化的闭眼数据被你的睁眼素材刷新掉了.
4,个人认为用A比较好,因为A的底丹数据泛化性更好点
5,素材不足是硬伤,即便技术补救,造成的结果也要么是模糊要么是不像.roop据说可行,不过也有局限性.
尽量找符合src素材角度表情的dst换,

1245252900

1、是否遵循滚石大佬的步骤，看自己的需求，我目前也用的有这个丹，（1）如果求出视频制作量的话，开扭曲训练20w+次以上，然后关扭曲训练 至 50w+次数，就可以做出中景、远景效果不错的视频了（前提是dst和src脸型相似，另外合成时开不开超级分辨率-可提升清晰度-看需求：求质可开40-100，求量不开，因为开启会大量增加合成时间），中近景、近景那就不行了，脸就模糊了；（2）、求质量的话，滚石大佬有个迪丽热巴万能模型，高参数设置情况下好像练了1个月左右，免费神丹参数较低。
    至于损失：一般50w+迭代后损失在0.5-0.8左右，当然了还要看素材，素材越大越清晰（比如wf512以上-1024-2048），会造成单次训练时间越长，src较高0.1+左右。具体还要参考预览图，有些model迭代损失虽然较大，但预览及合成也依然很清晰。
    相似度问题：dst和src脸型相似，dst原视频光照好，画质清晰、src大角度全且清晰度高，都可以大大提高合成质量；当然也可以自己加工原视频，简单加工找剪映，复杂加工找达芬奇
2、素材我觉得多点相对较好，素材多，表情就多，光影就多、角度也要多，我的素材大都在3000-20000之间；命名不重要，不影响训练，可以自己批量重命名，我一般src缩写+补充次数，景甜，补素材1次（jt、bu1）；我觉得关键还是素材，只要质量好、轮廓对齐、加上训练次数，就可以练出不错的model，预览图只是参考，当然有时预览图也会刷出没发现的错图，应该如楼上所说，但是几张错图并不会影响几千张图的效果，如果有错图找出删除即可
3、开启后可以增加眼部及嘴部训练，可能是训练次数不够、不同角度下的闭眼素材量过少导致的合成不一吧
4、一个人一个丹最好，专人专丹，省的影响相似度，当然也可以在练好丹的基础上炼其他人的。
5、没看懂；万能model也是在src素材基础上炼制，src缺的，万能model也缺，万能只是和普通丹训练及合成设置不同，炼一个好丹：关键的关键还是在于src角度齐全且清晰，脸型匹配，才能合成更像的视频，具体参考第一、二条。
不对之处，敬请指正。

kanbumingbai

ROOP我看了一些视频的确非常强啊，但是比较懒，没研究，估计可以节省每次的模拟时间吧

masker

根据我的发现，总是出现的素材说明这几张融合的不是很好，所以反复练这几张，我之前上千张素材混进去一张非人脸的，结果总是出现，不知道对不对

xylego

1245252900 发表于 2023-12-18 21:01
1、是否遵循滚石大佬的步骤，看自己的需求，我目前也用的有这个丹，（1）如果求出视频制作量的话，开扭曲训 ...

感谢详细回复。

我第五点的意思主要就是不容易找各个角度都有的素材。角度比较完整的素材基本上只有找电视或电影种的明星才行，当然我可以从论坛找那些明星高清素材练练手。
但是当我想训练非明星的人脸时，完整角度几乎是找不到的。即使是网红主播，大多角度也都是正脸。

hhgg2277

xylego 发表于 2023-12-18 21:21
感谢详细回复。

我第五点的意思主要就是不容易找各个角度都有的素材。角度比较完整的素材基本上只有找电 ...

角度缺失无解，roop也不行的话就没啥简单方法了。