增加dst训练集脸型角度，对减少虚影有帮助吗？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

我的专丹dst训练集，5000张，四十人左右，都是女性，脸型不算丰富，角度还可以，
但与FFHQ、CelebA、RTM训练集相比，那肯定是远远不如

我目前专丹的情况是，多个角度都会有虚影，
所以，我猜想，是不是因为dst训练集脸型、角度，不够丰富的原因，
我的想法是，dst训练集、脸型、角度越丰富，那它变形，填满虚影的几率就越大
不过，我不知道这种想法，是否有道理？

我下载了一些别人用FFHQ训练集训练的liae专丹（我自己的也是liae）
部分专丹虚影，比我的少；部分专丹虚影，比我的多很多，
所以，我还确定不了这个观点

我知道虚影，跟src、rct、以及侧脸、眼嘴、face style等都有关系，
我的意思是，排除以上因素，
增加dst训练集脸型、角度，对于减少虚影是否有帮助？
有经验的朋友，分享一下，这方面的经验啊

WaveBedo

深海鳕鱼 发表于 2024-11-8 17:04
轮廓边缘有虚影，应该都是脸型不适配导致。
有人用了遮罩的方法，在训练过程中还原SRC的脸型到DST，不过只 ...

你有没有发现，合成的时候，
有时候会遇到嘴巴、鼻子、眉毛没有对齐的情况，
这种情况，应该跟轮廓对不齐，产生虚影的情况，是一样的，
所以，单单改脸型应该是解决不了这个问题的

wtxx8888

WaveBedo 发表于 2024-11-8 13:13
扭曲、关扭曲的过程，应该就是填补虚影的过程，
所以，我觉得增加dst脸型、角度，理论上，应该会继续填补 ...

自己既然知道，不能完全清除，还浪费时间？
多一点与少一点，有差别？
只要不能完全清除，就一点用，也没有。。。
换脸，不是换单张图片，只要有一张有（一帧）都不行。所以说，不能完全清除，就一点用都没有。

如果是，直接修改代码的算法，还可能靠点谱。
靠训练？那只能说，你乐意就好。

pasanonic

兄弟  你别琢磨秃顶了
你还不如研究合成改脸型

WaveBedo

pasanonic 发表于 2024-11-8 11:27
兄弟  你别琢磨秃顶了
你还不如研究合成改脸型

虚影跟嘴巴、鼻子、眉毛的对齐，也有关的，
只改脸型，应该达不到这个目标

wtxx8888

愿意浪费时间，就继续浪费吧，期待你，能把上帝的骰子（扭曲）变成可控，继续围观。

WaveBedo

wtxx8888 发表于 2024-11-8 12:21
愿意浪费时间，就继续浪费吧，期待你，能把上帝的骰子（扭曲）变成可控，继续围观。 ...

扭曲、关扭曲的过程，应该就是填补虚影的过程，
所以，我觉得增加dst脸型、角度，理论上，应该会继续填补虚影，

世间没有两块一样的叶子，所以虚影可能会减少，
但肯定不会完全消除

增加dst脸型、角度，我觉得作用跟增加src角度的作用，是有一定相关性的，
虽然作用没有增加src角度，那样立竿见影，
但逻辑上，应该是有关联性的

有一个很多人都在用的例子，
就是金鱼补角度工具，它的原理应该也是跟这些方面有关的
（我没有用过，但应该有不少人在用）

153271933

你扭曲开了多少万？

深海鳕鱼

轮廓边缘有虚影，应该都是脸型不适配导致。
有人用了遮罩的方法，在训练过程中还原SRC的脸型到DST，不过只能小换大，大换小好像还是做不到。
DFL合成阶段方面还是太过于简化了，想要好的就用AE 达芬奇修饰下。
或者期待有人更新下训练算法，能匹配SRC脸型的算法，不过都是遥遥无期，DFL我觉得现在都已经是夕阳产业了。

DFL小白02

我觉得没必要那么看重虚影，比起这个，练到所有角度脸部都很清晰更重要

WaveBedo

wtxx8888 发表于 2024-11-8 15:10
自己既然知道，不能完全清除，还浪费时间？
多一点与少一点，有差别？
只要不能完全清除，就一点用，也没 ...

相同的角度，多个不同脸型的dst，
逻辑上应该会覆盖更多不一样的脸型，覆盖得越多，虚影应该就越少，
这应该也是，万能模型之所以叫万能模型的原因，因为他覆盖了大多数可能的形状，

如果减少dst训练集的脸型数量，不减少角度，我相信模型角度方面，应该是没有问题的，
但某些角度的虚影应该是会增加的，因为dst脸型数量减少了，所以，覆盖的东西减少了
（这只是我逻辑上的理解，没有经过实践对比。扭曲功能应该不能完全做到这方面）