DFL的【随机扭曲】实际过程居然是这样。

seancai110

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

如果大家练过Xseg模型，都知道训练的时候预览图里面的脸各种大幅度扭曲和颜色变化。然而，训练DF和LIE换脸模型的时候，就算开了随机扭曲，预览的切脸图却基本没有扭曲，只有大小和角度变化。

我之前也很奇怪这点，于是今晚研究了一下DFL的代码，发现开随机扭曲和hsv的效果，和我想的不一样。


我原来以为，随机扭曲和hsv的目的，是扭曲输入的图片，然后让模型学会同样扭曲的造型，增加换脸时候可以适应的角度、透视、颜色、光影。
比如，按照我的设想，如果dst是芒果脸，而src的赵丽颖没有芒果脸。那么把src扭曲之后，可以学习芒果脸的扭曲，这样在给dst换脸的时候可以更匹配。

然而，DFL不是这样想的。
DFL开了随机扭曲之后，输入神经网络的是扭曲过的图像，但是训练的方向是输出正常的图片。
DFL的思路应该是，就算你输入的是芒果脸，模型也尽量输出正常的赵丽颖。这样，扭曲的目的就是增强模型输出正常赵丽颖的能力。但是并不能生成出额外的角度和光影。

我原来以为随机扭曲和随机hsv能弥补src角度和光影上的不足，原来并不行。我按照我的想法改了代码，不知道最后效果怎么样。

相关代码的位置：

游客，如果您要查看本帖隐藏内容请回复

seancai110

滚石 发表于 2023-9-5 09:33
光看第5列可能没那么明显感觉，因为第5列的脸型肤色背景发型之类的还是保留src的，如果你merge后再看，会 ...

我昨晚试了下同时开真脸，好像可以让第五列越来越像

丸丸

看看

lvzhu1986

这个看着厉害了  支持下

百里瑾轩

厉害，看看

gokong

厉害厉害，学习了

高晓东

瞅瞅

lknet

学习

WinKK

对提高训练速度有帮助吗？

ilikesw

学习学习，感谢

Mrdeepfake

我理解的随机扭曲很简单，就是将线条微小随机扭曲，增加学习难度而已，自由度太多，所以初期会得到模糊的训练结果，但锻炼了神经网络的学习能力；另一个带来的优点是，后期关闭随机扭曲继续训练时，线条受神经网络随机扭曲训练的残留影响，会获得额外的特征（微小随机扭曲）或者说清晰度，尤其最后合成阶段进行锐化时，这一效应更显著。