关于虚影及相似度的猜想

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

虚影
大家合成的时候，在合成界面，按6就可以看得到模型里的图片，
你浏览多几张这种图片，就会发现，模型里的图片可以变成任何脸型，
既然如此，那为什么有的时候，合成的图片会有虚影

我的猜想是，你的dst训练集不够丰富，没有包含这个landmark，
也就是这个landmark，你的模型没有训练过，
它找不出可以完全配得上这个landmark的图片，
所以，它只能找一张接近的图片，对不齐的位置就会出现虚影，
我的猜想是，
只要你的训练集包含所有可能的landmark，虚影就会消除

相似度
合成界面，按6的时候，你可以看得到，
如果dst是胖脸的，模型里的图片，也是胖脸，
如果你的dst训练集都是胖脸，没有瘦脸，
那你模型里的图片都是根据胖脸来练习的，生成的图片也都是胖脸，
假如我要换的dst是瘦脸，那你说相似度会不会降低？

所以，我的猜想就是，假如你要保障相似度，
那你的dst训练集一定要包含，将来要换dst的landmarks
直接用要换视频的dst，来对练，应该是相似度最高的

（以上看法仅来自于我的观察，我不懂代码，也没有看过代码，
我知道与部分人的观点，是不一样的，请自行判断是否与事实相符）

xunlian

landmark 在训练阶段 没有重大作用，不依靠landmark提取特征。
landmark 在合成阶段 起重要作用，生成对应的SRC面罩。所以训练阶段的DST landmark 可以不精确，但是正式换脸DST landmark 必需要准确。

SRC DST 1:1 胖瘦脸 换脸过程中，SRC和根据DST的胖瘦来进行拉伸和缩小，只要是1:1的训练集，基本不会虚影，虚边。

为何会有虚影，虚边，本质上又回到了  万能模型的矛盾。
很多人错误以为 （单SRC  多DST）    SRC会匹配每个DST。以至于DST中放入成百上千，甚至过W的图集。然而DFL本质逻辑是特征精确匹配。什么叫精确匹配？先不考虑高级语义，光一个胖脸 一个瘦脸 第一关就不匹配。
举个例子
SRC 瓜子脸  DST中 A 瓜子脸 B 国字脸 C 圆脸
根据DFL的逻辑，SRC只会和A进行最大能力匹配映射，B C相当于干扰项，只能小部分特征匹配映射。所以换脸的结果就是 DFL输出SRC的面罩（瓜子脸）。当输出的SRC面罩无法完全覆盖/超出覆盖 DST时，自然就出现虚影 虚边。
所以建议练所谓万能模型人 早日收手，练出来的模型 始终都要标注一句：（找脸型相似的进行换脸）

DFL小白02

不同人的面部肌肉块本身就不一样，靠拉伸没法严丝合缝对齐。至于landmarks，可以去了解一下deepfacelab的相似性变换，并不像你想的那样要严格一致。

seancai110

首先，landmark在训练和合成的时候，都不会输入进神经网络。在DFL里，landmark只用来在切脸和合成的时候对齐脸图和原图。对DFL的唯一影响就是开了嘴眼优化之后，会用landmark生成一个嘴眼mask，给loss计算的时候多加一项。

其次，DFL的原理就是图像匹配。所以如果你的scr没有和dst相似的角度，确实会影响结果。DFL其实不是非常智能，毕竟底模小。

WaveBedo

seancai110 发表于 2025-6-25 17:06
首先，landmark在训练和合成的时候，都不会输入进神经网络。在DFL里，landmark只用来在切脸和合成的时候对 ...

第五列生成图片的landmark跟dst的landmark应该是一致的吧
它并不是完全根据dst的图片内容来变形的，

即使dst看起来正常，但如果它的landmark是错的，
预览图片应该会根据错的landmark来生成，

我看过几次，它是根据landmark来生成的，
下巴的位置跟dst甚至不一样高低

所以，对齐应该是以landmark为准的

seancai110

WaveBedo 发表于 2025-6-25 17:29
第五列生成图片的landmark跟dst的landmark应该是一致的吧
它并不是完全根据dst的图片内容来变形的，

不知道你用什么版本的DFL，但是原版的源码里是明确不会把landmark输入进网络的。

WaveBedo

seancai110 发表于 2025-6-25 17:46
不知道你用什么版本的DFL，但是原版的源码里是明确不会把landmark输入进网络的。 ...

我使用的是kingboy，ME，2.55。或者托尼的，
我不使用ME的功能，
应该都是原版的

WaveBedo

xunlian 发表于 2025-6-25 21:58
landmark 在训练阶段 没有重大作用，不依靠landmark提取特征。
landmark 在合成阶段 起重要作用，生成对应 ...

我的猜测是，模型会生成src+dst*2数量的图片，
也就是每个dst的机会是平等的，
合成的时候，会挑选同一个角度里，面罩、landmark最接近，而且loss比较小的图片
所以，dst训练集包含将来要换视频的所有landmark，我认为是可行的

我看了论坛里不少dst训练集，里面的脸型、表情、光影，我认为大部分人的视频都不可能用得上，
也就是，我认为这部分的训练是没有意义的，浪费训练时间的，
所以，dst训练集还是讲究一下针对性好一点，这样可以减少训练时间

WaveBedo

DFL小白02 发表于 2025-6-25 16:46
不同人的面部肌肉块本身就不一样，靠拉伸没法严丝合缝对齐。至于landmarks，可以去了解一下deepfacelab的相 ...

面部肌肉块不一样，但跑过相同的landmark，
你觉得出现虚影的几率是不是少一点，

如果跑过的landmark差距比较大，
你觉得的出现虚影的几率是不是更大一点？

DFL小白02

WaveBedo 发表于 2025-6-26 01:55
面部肌肉块不一样，但跑过相同的landmark，
你觉得出现虚影的几率是不是少一点，

这不是landmarks的问题，增加侧脸的素材量甚至只是改变它们在你素材中的占比都是更实际的解决办法，Liae这种融合模型也会比DF要好。