【金鱼DFL基础原理普及】让新手更容易了解DFL的原理和逻辑

无敌小金鱼

chenwei3350 发表于 2021-11-19 22:54
预训练的话LOSS值大约到多少?
第一阶段LOSS值大约多少？开始多少?
第二阶段LOSS值多少可以开始？多少可以停 ...

你可以参考下我上面提到的随风的帖子，里面有三个阶段的LOSS值参考。但LOSS值不是绝对的主要还是看最后的成像人为去判断。

DFL8938o9

支持一下教程

无敌小金鱼

dsyrock 发表于 2021-11-20 10:58
想请教一个问题，就是比如src和dst都是wf类型的。src是齐刘海，或者有部分刘海，但用遮罩排除掉了，然后dst ...

机器的学习也是看数量权重的，如果你露额头的图太少大部分都是刘海，那因为遮罩没办法让每张刘海都去除干净总有漏出的边角之类的，那他就容易把那部分也学进去，如果你大部分都是露额头的，只有很少的一小部分刘海那就问题不太大。
SRC和DST都没有刘海，靠近发线有黑影但其实还是遮罩的问题，还是把那部分给学了进去，所以遮罩需要尽可能的远离黑色部分，但即便如此你不可能每一张都手动去画，大部分的遮罩还是自动的，所以就出现了一些黑影，这就需要靠后期合成去解决。
刘海是最麻烦的问题，你的素材足够多的情况下就要尽量删掉有刘海的脸，有时候不删是因为角度不够才不得已保留的。
所以，如果你的素材几乎都是刘海，那最好的就是用F类型的模型，直接就一刀切掉了额头，剩下露出的黑影在用后期去修补。因为如果是WF，机器学习到的额头内容太少了甚至几乎没有，但你DST是露额头的，导致的结果就会是大量的黑影出现。

chenwei3350

无敌小金鱼 发表于 2021-11-20 12:58
机器的学习也是看数量权重的，如果你露额头的图太少大部分都是刘海，那因为遮罩没办法让每张刘海都去除干 ...

第一阶段，先描绘脸部轮廓以及大致五官，通常再有良好模型的基础上这个阶段也是比较快的。
模糊遮罩：开启
侧脸优化：开启

LOSS=0.5      第二阶段，对五官和脸型成像进行修正，例如眼嘴的形状、眼神、牙齿成像、脸部轮廓清晰等。
使用学习率：开启


LOSS=0.1     第三阶段，进一步强化脸部的细节，这一步的时间迭代会比较漫长。
      重点：务必需要理解训练模型所有的参数所对应的作用，这样你才知道在哪个阶段该开启那些参数，还得花时间去观察这些参数所带来的变化。
随机扭曲：关闭
GAN  0.01：开启



现在是第一阶段2021年11月20日03:52:25起
开启模糊遮罩
开启侧脸优化


我是这样的思路

我是GTX1060   3g显存的，用的RG版本的，跑不了liae和liae-ud
顶多跑过AMP的wf-224和SAEHD的wf-224

大佬帮我看看对吗，我也不知什么时候开启啥？

chenwei3350

无敌小金鱼 发表于 2021-11-20 12:51
你可以参考下我上面提到的随风的帖子，里面有三个阶段的LOSS值参考。但LOSS值不是绝对的主要还是看最后的 ...

这是最新的，我已经练丹一个月了，各种尝试，还是不行，可以指点一哈吗

chenwei3350

无敌小金鱼 发表于 2021-11-20 12:51
你可以参考下我上面提到的随风的帖子，里面有三个阶段的LOSS值参考。但LOSS值不是绝对的主要还是看最后的 ...

素材是下载的HHFQ的1024X1024的，但是我的显卡跑不了1024X1024分辨率的，全部裁剪成768X768的，筛选过，在跑的，现在用了一部分，差不多1万张人脸，一直跑

无敌小金鱼

chenwei3350 发表于 2021-11-20 13:34
这是最新的，我已经练丹一个月了，各种尝试，还是不行，可以指点一哈吗

第一阶段，只需要开遮罩训练和随机扭曲 其他都不要开 然后观察第五列 基本上脸型和五官都正确以后就可以，这个阶段是不可能很清晰的，差不多就行，然后再前面两个参数的同时打开LRD继续跑，图像会越来越清晰，主要观察LOSS很难下降甚至反弹，第一阶段就可以结束了。

第二阶段，因为你的脸型和五官基本都固定了，所以这个阶段只需要开遮罩训练，眼睛和侧脸优化，其他都关，开眼睛是为了修正眼睛的形状和一些不对的眼神，因为不涉及到较大的画面扭曲所以就不需要去开其他的东西，侧脸优化的目的并不是说他能生成没有的侧脸，而是让机器去训练更多的侧脸图片，以加强侧脸的清晰度，不信开了这个你按P一直预览你会发现第一列SRC刷出来的侧脸图像会很多。这个阶段和上面一样，LOSS下降缓慢甚至回弹，基本就差不多了。
是否开真脸根据情况来看，如果生成的SRC脸型被明显拉胖了，就说吧你的SRC练太过被DST影响了，所以就需要开一点点真脸来矫正回来。

第三个阶段就比较简单了，只开遮罩训练和LRD还有GAN，这一步就是强化脸上细节，睫毛和牙缝，甚至皱纹酒窝等等，LOSS值到0.1以下就可以了，这时候的图就已经非常清晰效果非常棒了，你上面两部练的好，针对要求不高的视频来说甚至不需要用到第三阶段，你DST视频本身就不够高清，你搞一个很清晰的脸换上去就会显得很违和。

遮罩训练需要一直打开，因为我们不需要让机器去学习遮罩以外的东西。

无敌小金鱼

chenwei3350 发表于 2021-11-20 13:37
素材是下载的HHFQ的1024X1024的，但是我的显卡跑不了1024X1024分辨率的，全部裁剪成768X768的，筛选过， ...

你这个配置我真不太建议你去跑预训练，太慢了，分辨率也不高，时间成本划不来。

今晚打老虎008

谢谢楼主的分享