有必要追求第5列脸部完整吗？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

滚石:本模型没有做Xseg，对遮挡过多的画面不会自动适应，请使用遮挡少的原视频做试验


第一张是坛主的，dst的头发没有挡住第5列
第三张是另外一个坛友的，dst的头发挡住了第5列，造成脸部不完整
第一张我猜应该跟第二张一样，dst没有写入遮罩，所以dst的脸是完整的，所以第5列的脸也是完整的
第三张应该是dst写入了遮罩，导致一部分脸被遮住了，所以第5列生成了不完整的脸

之前一直听说，如果src不写入遮罩，那src的刘海会被学过来。
从第二张图看，dst不写遮罩的话，刘海也会学过来，但应该会慢慢淡化

问题一、生成第一张这种完整的脸，是不是比第三张这种不完整的脸好一点？
问题二、dst有遮挡的情况下，有必要追求第5列脸部完整吗
（问这个问题主要原因是，dst写入遮罩之后，第五列的脸常常是不完整的，就像第三张图）




图片来源
https://dfldata.cc/forum.php?mod ... =%E6%9D%A8%E9%A2%96
https://dfldata.cc/forum.php?mod ... =248&extra=page%3D1
https://dfldata.cc/forum.php?mod ... 6275&extra=page%3D1

若苗瞬

第三图好离谱，我实在看不出来完整是啥意思。

可是从理论上讲，
使用“Xseg遮罩”的功能不就是指定范围——排除了遮挡物的“不完整”范围么。

WaveBedo

若苗瞬 发表于 2023-11-30 09:13
第三图好离谱，我实在看不出来完整是啥意思。

可是从理论上讲，

第一张第5列整个脸都没有被头发挡住，整张脸是完整的
第三张第5列，脸被dst的头发挡住了，整张脸是不完整的

第三张图合成时，产生的瑕疵会不会比第一张的高？
如果是的话，那dst就不应该写入遮罩

若苗瞬

WaveBedo 发表于 2023-11-30 09:33
第一张第5列整个脸都没有被头发挡住，整张脸是完整的
第三张第5列，脸被dst的头发挡住了，整张脸是不完整 ...

噢，你说额头啊。

如果是 Full Face 则不包括额头。
如果是 Whole Face 则必须有遮罩（已经排除额头的头发了），如果没有遮罩会自动加一个FF的遮罩（不包括额头自然不包括上面的头发）。
所以就本贴的例子来说，加不加xseg应该是一样的。

其实举例可以更加明显一点，比如dst一直在啃苹果，或拿着话筒说话。
这样的脸就一定“不完整”。
按照站长的建议，dst可以不加遮罩，最后合成时选xseg就可以了。

至于效果，如果遮罩不出错，应完全一样的。

WaveBedo

若苗瞬 发表于 2023-11-30 10:20
噢，你说额头啊。

如果是 Full Face 则不包括额头。

合成时遇到同一个角度的dst，
绿色框处假如没有头发遮挡，这部分缺失的脸会自动补回来吗？
用dst补，还是模型里这张脸本身就是完整的，只是现在有头发遮挡所以看不到而已？

若苗瞬

WaveBedo 发表于 2023-11-30 11:55
合成时遇到同一个角度的dst，
绿色框处假如没有头发遮挡，这部分缺失的脸会自动补回来吗？
用dst补，还 ...

假设没头发，当然有这部分脸。
如果有头发，自然就是dst的头发。

合成本身就是模型学习到的脸部内容，放到dst脸的画面上（遮罩内）。
不存在“补回来”这概念呀。

jinyuan37

WaveBedo 发表于 2023-11-30 11:55
合成时遇到同一个角度的dst，
绿色框处假如没有头发遮挡，这部分缺失的脸会自动补回来吗？
用dst补，还 ...

如果你所有图片都缺失这一部分是没法补回来的，但只要SRC有一些图片里有这部分，就可以补回来。

WaveBedo

若苗瞬 发表于 2023-11-30 12:12
假设没头发，当然有这部分脸。
如果有头发，自然就是dst的头发。

没头发时，绿色框处有脸，
这部分脸是模型根据dst生成的，还是因为这部分脸缺失，所以显示的是dst的脸？

如果显示的是dst的脸，那就说明这个部分不会被替换，那它肯定导致相似度降低
如果是模型根据dst生成的，那就说明这部分会被替换，那它就不会导致相似度降低

WaveBedo

jinyuan37 发表于 2023-11-30 12:53
如果你所有图片都缺失这一部分是没法补回来的，但只要SRC有一些图片里有这部分，就可以补回来。 ...

所以，绿色框处虽然看不到脸，
但其实模型里，它可能是完整的，是吧？

我提这个问题，其实就是想搞清楚，写入遮罩会不会导致生成的脸不完整，
如果不会的话，那就没有问题了

大肚佛

学习学习