浅谈DF架构换脸原理，新人少走点弯路

xunlian

yzc281 发表于 2025-3-18 17:40
后期是指和GAN同时训练？还是GAN后再练一段

关闭扭曲即可，GAN不GAN 随你

yzc281

1、Trainning （训练）——工作流的叙述中，大意是不是SRC编码的由SRC解码器负责生成图像，DST编码的由DST解码器负责生成图像？

xunlian

yzc281 发表于 2025-3-18 22:29
1、Trainning （训练）——工作流的叙述中，大意是不是SRC编码的由SRC解码器负责生成图像，DST编码的由DST ...

DF架构 SCR和DST都是同一个编码器编码，解码是各自解各自的。

yzc281

懂了，启发很大，感谢回复

mjy9921130

xunlian 发表于 2025-3-12 09:48
在模型的世界里，不存在预训练和正训。当你把素材放进，启动训练后，编码器和解码器的权重已经开始累积。
...

按照这个说法，预训练目的是学习标准编码，是不是可以理解为我可以放入同一人的全角度人脸进行预训练，正训时再src同一人，dst换成几万张杂图？

xunlian

mjy9921130 发表于 2025-6-13 06:41
按照这个说法，预训练目的是学习标准编码，是不是可以理解为我可以放入同一人的全角度人脸进行预训练，正 ...

DFL的原理其实就是2步
第一步：提取出SRC和DST的特征，这个阶段就是训练编码器。随着不断训练 2 4预览窗口 会逐渐清晰。
第二步：随着SRC和DST特征逐渐清晰，就能对比找出相似SRC和DST，产生映射关系。预览窗口5列就会显示换脸效果图。

这2个步骤是同时进行的。

预训练原理 其实就是在强化第一步，弱化抑制第二步（特别是SRC和SRC对练。用预训练丹放入自己的SRC和DST后， 2 4列立马就出图像了，感觉效果很好，但是5列根本就不像，所以还要训练。

所谓的预训练 只是很多人为了节省时间，想走捷径而已。

SRC和SRC的预训练方式，上面已经解释了，强化第一步，弱化抑制第二步。

既然第一步和第二步是同时进行的，即使从0开始训练时，就正式放入想要训练的SRC和DST不是更好？
至于有些人说预训练可以解决SRC和DST光影问题，其实是自欺欺人。DFL本质就是找SRC和DST的相似图片，SRC的素材决定了输出效果。DST和某个SCR最相似，就输出某个SCR。

最后一个问题：预训练（SRC-SRC），正训（SRC-多DST）。
看来你要训练训练一个单SRC和多DST的万能模型。那你是否能在论坛中找出一个真正意义上的万能模型？很多万能模型以及大佬都说提一句 找脸型相似的，一定要脸型相似的。为何要脸型相似？因为脸型差异大的，根本换不出SRC嘛。

按照简单逻辑理解，万能模型就是脸型通吃（前提 素材OK），相似脸型 80-90相似，脸型差异大 起码 50-60相似（至少眼，嘴，鼻 ），好比一个吃胖了，或者廋了的SRC嘛。但是普遍情况是，脸型差异大的，基本就直接输出DST了。

最后说结论 你采取所谓百W预训练单+正训单src，多DST，训练万能模型，最终结果 仍然是一个只能换相似脸型的伪万能模型。

DFL不是一个无脑挂机的项目，也不要盲目追求LOSS值得降低。不同的SRC和DST 需要采取不同的训练方式，方法。论坛中的教程 其实本质上是相似脸型 1vs1的训练方法。盲目套用最终只是浪费时间。

mjy9921130

xunlian 发表于 2025-6-13 09:08
DFL的原理其实就是2步
第一步：提取出SRC和DST的特征，这个阶段就是训练编码器。随着不断训练 2 4预览窗 ...

大神，我看有人说head模型可以无视dst脸型，直接输出src脸型，这个是真的吗？

xunlian

mjy9921130 发表于 2025-6-13 21:50
大神，我看有人说head模型可以无视dst脸型，直接输出src脸型，这个是真的吗？ ...

你都换头了，何来脸型问题呢？
都把SRC整个头都搬过去了

最后还是提醒一点,不要盲目追求所谓万能模型。即使DFL把SRC百分百的输出，你也要考虑贴合问题。换脸实质是把SRC的面罩贴合/覆盖在DST原图上，如果一个三角形 去覆盖一个圆形，始终是无法全部覆盖，这又回到了像不像的问题，但这不能怪DFL。