关于前段时间论坛上WF换头的帖子

ycjack27

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:5  参与人数:2  我的评分:未评

看了之后很感兴趣，尝试了一下。先说结果：有微乎其微的效果，不太值得花费时间。


在原作者的方案基础上，根据自己的经验调整了一下。
大致方案就是训练时关闭masked training，迭代约35w次。
然后开启masked training，迭代约10w次。
再开gan0.1，关闭masked training，迭代约15w次。
再开masked training，迭代5w次。
最后开启background power，迭代5w次。

为避免引起不必要的纠纷，我不会上图，信不信凭你，就像原作者也没有上图。

原作者的原理是，erode mask数值为计算出的src脸部遮罩范围，因此只要该数值为负，就会把src脸部周围的内容也画出来，遮盖住dst的脸部，从而实现换头（换脸型）

实际使用下来的感受是，主要有三个问题：一、发型；二、头部尺寸；三、像。

一、发型方面：由于src和dst不可能有一致的发型，同时普通训练不训练脸部遮罩以外的地方，所以单纯的把erode mask调为负值，会有瑕疵，如果训练时关闭mask training，那么情况可能会有所好转。这是我认同原帖思路的地方。但实际使用时发现，dfl训练时并没有“头发”这个概念，所以在这一点上不会有很明显的提升，但不可否认的是，比一直开启masked training的效果要好。

二、头部尺寸：原理已经大概介绍了，但实际上头部尺寸非常关键，即使脸型能够微微调整、覆盖，但头部尺寸还是不行。

三、像：这个方法训练出来的model，不如常规方法的像。

总结一下就是：由于dfl在wf训练时其实只有脸部信息的概念，因此关闭masked training所获得的脸部以外的信息是非常有限的，且在merging的时候，erode mask一项数值往往与Xseg相冲突（负数绝对值越大，Xseg遮罩越趋近于无），所以即便得到了更好的脸部周围信息从而实现了脸型的改善，仍然要面对：不像、发型冲突、头部尺寸、Xseg效果较差等问题。是个好思路，但是我用3080ti跑了一个星期，为大家试了一下，不太值得花那么多时间。同样效果在训练后期直接开启background power应该就足够了（但容易导致更像dst）。

友好讨论，友好讨论

WinKK

我给你上图吧。
其实，这个方法还是很有意思的，只是不完善。头发的问题不知用LIAE能不能解决（我觉得不可能），反正我练下来细节不够。
另外，遮罩的画法很有意思，有许多种可能，就看你怎么想了。
如果用WF模型，那无法覆盖所有皮肤和头发，还是用HEAD更可行，但那就是另一种方法了。

反正，这思路有意思，但问题也多。

随遇而安

顶上去 让更多人发表看法

dsyrock

不论结果如何，这种实验+总结的精神就很值得支持

472321841

WinKK 发表于 2022-6-16 11:25
我给你上图吧。
其实，这个方法还是很有意思的，只是不完善。头发的问题不知用LIAE能不能解决（我觉得不可 ...

我看你发的都只有切好的图，你用的是head有现成的丹吗？能分享下吗，我现在wf一直为额头部分没头发烦恼

wtxx8888

额，带图的回复直接被吞了，这就是我不上图的原因。
我自己还在继续尝试此法，而且就算方式方法相同，效果也会因个人水平而异的

maou

支持你们创造出更完善便捷的方法

ycjack27

wtxx8888 发表于 2022-6-16 12:41
额，带图的回复直接被吞了，这就是我不上图的原因。
我自己还在继续尝试此法，而且就算方式方法相同，效果 ...

我现在正在尝试另一个训练思路。
先普通wf训练，这样可以保证够像。
然后再关闭遮罩训练训练出脸部以外的信息。

总之还是很感谢你提供的思路，一起研究交流吧

ycjack27

WinKK 发表于 2022-6-16 11:25
我给你上图吧。
其实，这个方法还是很有意思的，只是不完善。头发的问题不知用LIAE能不能解决（我觉得不可 ...

你的图让我想起来还有另一个瑕疵，就是耳朵。
其实发型如果相似度比较高，或者刘海什么不多的话，这个方法比单纯wf是要好一些的（但是也太耗时间了）

WinKK

ycjack27 发表于 2022-6-16 13:17
你的图让我想起来还有另一个瑕疵，就是耳朵。
其实发型如果相似度比较高，或者刘海什么不多的话，这个方 ...

其实，整个头部轮廓都可能有问题，如头发、耳朵、脖子，而且这个接缝的地方不好处理。但是，这确实是个新方向，值得试一下。