为了减少虚影，是不是没必要开眼嘴、侧脸？

WaveBedo

DFLive 发表于 2024-5-20 00:48
你看合成后的视频是要用到放大镜吗，有没有可能你所说的虚影其中一部分源于脸型差异 ...

训练过一段时间的人都知道，虚影不可能完全消除，
都知道脸型不同，会增加虚影，

上面4张图片的差异，应该不需要用放大镜就可以看得出来吧
有没有可能这四张图片是同一个dst，同一个src呢
所以，这些虚影的差异，应该不是脸型造成的吧

DFLive

WaveBedo 发表于 2024-5-20 03:06
训练过一段时间的人都知道，虚影不可能完全消除，
都知道脸型不同，会增加虚影，

我是说，你看视频时，真的会关注这么仔细吗？虽然越细越好，但这些画面一般都是一闪而过的吧，除非你看的是慢动作。

pasanonic

WaveBedo 发表于 2024-5-20 03:06
训练过一段时间的人都知道，虚影不可能完全消除，
都知道脸型不同，会增加虚影，

那你只开随机扭曲，其他都不搞试下，我也想知道答案

WaveBedo

DFLive 发表于 2024-5-20 07:45
我是说，你看视频时，真的会关注这么仔细吗？虽然越细越好，但这些画面一般都是一闪而过的吧，除非你看的 ...

我是这样判断的，我有65张的各个角度的测试图片，
什么都不开跑8万，bs4，合成一下，
开眼嘴8万，bs4，合成一下，
开侧脸8万，bs4，合成一下，
开高损失8万，bs4，合成一下
然后，对比一下四个合成结果，就可以看得出哪个虚影最少了

如果大体上都是什么都不开时，虚影最少，那是不是就可以判断了？
除非这个结果不固定，那就判断不了
我的观察是，基本上是固定的

上面4张图片，如果你不在意多个角度都出现这种虚影差异，
虚影多一点，少一点没关系，
那你确实不需要理这个问题

shnyz1

没有特写镜头应该没影响吧

rocklu

我比较过，同一段视频，不同的丹，在脸型都不一样的前提下，就是有的有虚影有的没虚影，效果差别很大

rocklu

嘴眼是一定要开的，不然位置都不对，眼神也不对，细节也不行

WaveBedo

rocklu 发表于 2024-10-28 08:38
嘴眼是一定要开的，不然位置都不对，眼神也不对，细节也不行

是的。如果不开眼嘴，有些眼嘴很难对得准，
侧脸也一样，不开的话，有些大角度，虚影会比较大，
不过，应该是要相互平衡的，跑到一定程度，应该是要关掉侧脸的，继续跑有可能跑过头，
有些位置，又会对不准了

我希望模型跑到某个程度，就完全定下来，不变形了，只跑清晰，
可惜没有这个功能，学习率丢失也不行，
只有学习率丢失、或者高bs跑几天之后，变形才会接近停止，
可惜这几天的时间，虚影又可能变大了