训练收工时，侧脸、眼嘴，你的是开还是关？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

由于我不确定这个问题，所以，我会常常翻看别人的参数，
发现比较多的人开侧脸，或侧脸眼嘴同时开，都不开的人也很多，
根据我自己的观察，开侧脸、眼嘴等，似乎是可以直接影响虚影的，
开了侧脸，眼嘴的虚影可能会增加，或减少
开了眼嘴，侧脸的虚影可能会增加，或减少
所以，侧脸、眼嘴等，应该是相互拉扯的，这边跑好了，那边可能就变差了
所以，我想找出一个平衡的方案，就是虚影最少的方案

训练个人专用模型，
收工时，侧脸、眼嘴，你的是开的，还是关的？

pasanonic

侧脸在中途的时候就可以关了,其实你的侧脸src素材够多的话安全没必要开,一些认不出是谁的侧脸也没必要练,反而会拔高loss
嘴眼在gan之前一直开着,直到loss没有变化或者下降很慢就可以关了,主要原因还是一些角度问题,嘴眼鼻子较难学习(睁、闭眼,张、闭嘴这几个动作不同的角度难度越高)

最主要的问题是脸型不匹配、特征点错误、素材太多、素材质量参差不齐、遮罩错误都是影响的成分

come3002

看用途
4k近景高码率樱花为载体，几乎很少有略模糊帧，src和dst越精准越好。

1080p中景 低码率，经常有略模糊帧（尤其高速激战，还有重影的，甚至切不出来得帧）。
Src 和dst 要有一定容错机制，略错误的也要保留。

DFLive

其实只要扭曲到位了，全程不开眼嘴都能很像src。

WaveBedo

pasanonic 发表于 2024-5-18 17:25
侧脸在中途的时候就可以关了,其实你的侧脸src素材够多的话安全没必要开,一些认不出是谁的侧脸也没必要练,反 ...

你可以测试一下，对比侧脸、眼嘴开关时的虚影，
尽管脸型不匹配，但虚影的大小是有区别的

按照我的观察是，开侧脸就是侧脸对得比较准，眼嘴不一定准，虚影可能增大
开眼嘴就是眼嘴对得比较准，侧脸、整体不一定准，虚影可能增大

WaveBedo

DFLive 发表于 2024-5-18 18:34
其实只要扭曲到位了，全程不开眼嘴都能很像src。

我自己的感受是，除了像，还要避免过多的虚影，
有时为了减少点虚影，甚至可以降低一点相似度，
否则，虚影太明显，那就没意思了

WaveBedo

从左到右，分别是开高损失、侧脸、眼嘴、都不开（都是扭曲时的）

极端角度时，开高损失虚影最少，然后到什么都不开的。
一般角度，反而是什么都不开时，虚影最少，眼睛、鼻子的位置比较准
什么都不开的可能是最平衡的

然而，又产生了新的疑问
如果什么都不开的，是最平衡的，
那训练过程中，有必要开一下眼嘴、或侧脸吗？

我的观察是，开了眼嘴、侧脸，跑了很长一段时间，
然后关闭，继续跑一段时间，跟没开眼嘴、侧脸时，虚影是一样的，脸的位置是一样的，相当于没开过一样，
所以想知道，如果我训练最后阶段都关闭眼嘴、侧脸的话。
那训练过程中，是不是就没必要开眼嘴、侧脸了？

platexyxy

WaveBedo 发表于 2024-5-19 14:18
从左到右，分别是开高损失、侧脸、眼嘴、都不开（都是扭曲时的）

极端角度时，开高损失虚影最少，然后到 ...

楼主这个总结好到位，等个大佬回答楼主的问题（我顺便蹭答案学习），谢谢楼主问这个好问题

tiange999

WaveBedo 发表于 2024-5-19 14:18
从左到右，分别是开高损失、侧脸、眼嘴、都不开（都是扭曲时的）

极端角度时，开高损失虚影最少，然后到 ...

目前什么情况了  新手学习中

WaveBedo

tiange999 发表于 2024-5-24 02:04
目前什么情况了  新手学习中

目前的观察是不开眼嘴、不开侧脸，继续跑某些角度的虚影会继续减少，但某些角度的眼嘴位置却变差了，
所以，无法判断继续跑，结果是不是会更好，
如果扭曲阶段结束之后，关闭扭曲，眼嘴的位置可以慢慢修正，那就没有问题，
如果不能修正，那这个方案可能就是有缺陷的，应该开眼嘴、侧脸调整回来