DFL的【随机扭曲】实际过程居然是这样。

huiwobuke

如果这样输出 能看嘛 哈哈

jaysfing

学习下

seancai110

Mrdeepfake 发表于 2023-9-4 09:13
我理解的随机扭曲很简单，就是将线条微小随机扭曲，增加学习难度而已，自由度太多，所以初期会得到模糊的训 ...

然而，代码不是像你想的那样的。

代码默认的扭曲不是“微小”扭曲。默认的扭曲方式就是和xseg训练时候一样。

而且，你说的两个想法，明显是相互抵触的。训练目标只有一个，要么像原图，要么像扭曲之后的图。两个都像，这叫训练失败。

seancai110

WinKK 发表于 2023-9-4 08:54
对提高训练速度有帮助吗？

怎么说呢，你如果要训练速度，那么直接关掉随机扭曲就好了。从那张图片也可以看出，要让模型把芒果脸还原成原版赵丽颖，要付出多少努力

Mrdeepfake

seancai110 发表于 2023-9-4 12:35
然而，代码不是像你想的那样的。

代码默认的扭曲不是“微小”扭曲。默认的扭曲方式就是和xseg训练时候一 ...

随机扭曲总得有个度吧，而且像神经网络这种东西是有记忆的，哪儿那么容易擦除历史影响。就像你不开随机扭曲训练新的 src 与 dst 人物时，收敛速度也非常快，src 与 dst 训练预览图都学得挺像，但就是合成预览图不怎么像，大概跟这是同一个道理。即使你新素材能学好，但合成时也会受神经网络历史记忆影响；若学新的就立即忘掉旧的，还怎么锻炼神经网络的学习能力。并且我记得旧版 DFL 教程里提到过， “前期开随机扭曲，后期关闭后会获得额外锐度或清晰度”，你对这的理解又是啥？我认为原因不外乎就是随机扭曲训练的残留影响

djblue999

学习一下感受感受，谢谢。

mm112558

我原来以为随机扭曲和随机hsv能弥补src角度和光影上的不足

seancai110

Mrdeepfake 发表于 2023-9-4 12:59
随机扭曲总得有个度吧，而且像神经网络这种东西是有记忆的，哪儿那么容易擦除历史影响。那你解释一下 “ ...

人家代码白纸黑字写在那里的，你不要总是自己想象。
DFL代码里的坑也不少，不是金科玉律。
说到底DFL的做法就是加强生成正常赵丽颖的能力而已，但是并不能增加额外的东西。

rigui

看看

seancai110

mm112558 发表于 2023-9-4 13:25
我原来以为随机扭曲和随机hsv能弥补src角度和光影上的不足

我原来也这么以为的 不过会python可以自己改代码，给src第二行的参数也加上hsv就行了。