三十多万了不像怎么解决？

白小飞10086

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

反复调试了好多次，用的猫佬的底丹，但调整出来还是不够像，我是先用的随机扭曲，然后开的学习率，关了随机扭曲开了眼嘴优化，又关了学习率开的gan，面部够清晰了但还是不像，不知道怎么解决

2561078887

没换遮罩

wtxx8888

https://dfldata.cc/forum.php?mod=viewthread&tid=16918

尝试下跑SRC-SRC然后合成，如果丹够强的话，将无视相似度，直接就是SRC

come3002

炼丹，推荐一边训练一边检测。因为检测可以早早的发现一些问题。如果训练预览图已经出现了很不错的细节。还是有不满意的地方，就要考虑多种可能原因。
比如载体也很重要。需要海选找合适的载体。
一般玩玩，有时候一次筛选筛选出脸型和五官很像的载体就可以了。
如果要求比较高。想玩的好一点。对海选入围的载体，可能要二次筛选。多看微表情，多看细节。使得结果符合要求。

以某一帧 自然普通的 微表情为例 对 一轮筛选入围载体进行二次筛选。

左图1 左图2 为网络下载 图（似乎是同一帧）。以 左2为DST切脸WF512， 零训练直接合成，得到左3。




结果：左3 五官很像，嘴唇纹理很清晰，表情比较自然。


左图1 左图2 为网络下载 预览图。以 左1为DST切脸WF512， 零训练直接合成，得到左3。

结果 ：左3五官很像，嘴唇纹理清晰，略微遗憾的是，似乎透漏着表情微微痛苦微表情。
分析：左1和左2 做载体得到的结果 五官都很像。都属于一次筛选合格品。但是在二次筛选发现，在微表情方面拉开了一点距离。
这样的微表情差异，在连续帧方面，很容易引起违和感。
同理，除了正常自然表情，后面还要做 喜怒哀乐，bed激战，大角度哭，浴室，灰暗，等多个场景下，微表情的测试。综合判断，以选出最合适的载体。
结论：二次筛选  微表情 测试，有助于选出合适的载体。将来可能做出五官既像SRC，微表情又接近DST的优质的作品

kanbumingbai

那训练预览呢？像不？不像的话我觉得是素材问题，SRC质量太低，或者横跨几十年的照片，DST的清晰度太低，或者光线角度不理想，或者我觉得最重要的是脸型匹配太差，比如带刘海圆圆脸中国人SRC，硬是要变成高额头，长下巴窄脸外国人，就很难像，如果预览很像，一合成就完，这个可能可以换个遮罩，效果会有惊喜，还有就是合成界面中的，erode mask 还有motion blur这个也可以辅助下脸型不同，如果都不行，再试试face scale这个，就是放大缩小脸型，个别时候我也遇到预览很像，一合成就很奇怪，最后感觉是脸小了，然后放大了4个参数才感觉正常，一般放大2个就非常违和了，这个4个才恢复正常，很奇怪。换DST就好了。

白小飞10086

kanbumingbai 发表于 2023-12-22 12:58
那训练预览呢？像不？不像的话我觉得是素材问题，SRC质量太低，或者横跨几十年的照片，DST的清晰度太低，或 ...

就是合成后不太像，看预览图已经很不错了，那我试试换个遮罩看看

WaveBedo

wtxx8888 发表于 2023-12-20 01:39
https://dfldata.cc/forum.php?mod=viewthread&tid=16918

尝试下跑SRC-SRC然后合成，如果丹够强的话，将无 ...

表情会不会与dst差别较大？
我dst、src不一样，开扭曲，都很难做到一样
bs4开扭曲，跑了6万5，表情没有跑了2万5的好，
也就是开扭曲，继续跑，表情不一定是越来越好的，有可能跑过头的

WaveBedo

come3002 发表于 2023-12-20 14:38
炼丹，推荐一边训练一边检测。因为检测可以早早的发现一些问题。如果训练预览图已经出现了很不错的细节。还 ...

我现在发觉，看预览图、看loss都是不准的，
扭曲也会扭过头的，表情如果已经一样了，扭曲还继续开的话，再跑一段时间，又会变得不一样了

但每隔一段时间，合成看一下，又太麻烦了
有更好的办法吗

come3002

WaveBedo 发表于 2023-12-26 22:02
我现在发觉，看预览图、看loss都是不准的，
扭曲也会扭过头的，表情如果已经一样了，扭曲还继续开的话， ...

一套DST 假如10000张 全部合成又太麻烦。故 推荐 抽样法 如1/20，500张。分分钟就能合成完。

WaveBedo

come3002 发表于 2023-12-26 22:53
一套DST 假如10000张 全部合成又太麻烦。故 推荐 抽样法 如1/20，500张。分分钟就能合成完。
...

我有一套专门用来测试的dst，就五六十张
但每隔一段时间，停下训练来测试，还是太麻烦了
我是colab远程训练的，每次合成，还要下载来对比
一套下来，很复杂的，比本地电脑多很多步骤
搞个几次，就不想搞了

还是想靠看预览图，或者loss，可惜很难看出区别
要跑很久才能看出差别，如果跑错了，那又浪费了几个小时