为了减少虚影，是不是没必要开眼嘴、侧脸？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

从左到右，分别是开高损失、侧脸、眼嘴、都不开（都是扭曲时的，都跑了8万左右，bs4，而且左边都是在右边的基础上跑的）

极端角度时，开高损失虚影最少，然后到什么都不开的。
一般角度，反而是什么都不开时，虚影最少，眼睛、鼻子的位置比较准
开侧脸、眼嘴，可能侧脸、眼嘴比较准了，但整体反而不准了，虚影反而可能增加了
所以，综合下来，什么都不开的可能是虚影最少的
为了整体的效果少点虚影，眼嘴不够准，是可以接受的

然而，又产生了新的疑问
如果什么都不开的，是虚影最少的
那训练过程中，有必要开一下眼嘴、或侧脸吗？

我的观察是，开了眼嘴、侧脸，跑了很长一段时间，
然后关闭，继续跑一段时间，跟没开眼嘴、侧脸时，虚影是一样的，脸的位置也是一样的，相当于没开过一样，
所以想知道，如果我训练最后阶段都关闭眼嘴、侧脸的话。
那训练过程中，是不是就没必要开眼嘴、侧脸了？

pasanonic

你不要钻牛角尖了  半成品软件  需要很多很复杂的修修补补才能达到你的要求 没有必要

wtxx8888

vvvvvvv 发表于 2024-5-19 22:18
大佬，你说开还是不开？

嘴眼优先，从头开到尾。
侧脸优先，在有大LOSS专训时，直接当它不存在。

wtxx8888

哈哈，还在纠结这个问题呢？

come3002

本质是SRC的丰富度的问题。
SRC素材不够，少而精，多开一些参数，
等素材足够了可以少开一些参数。

理论上 ，凑一套全套的SRC比开一些参数要强。
就可以满足 既虚影少，又眼神匹配，还能较为满意的效果。



眼神信息 为例
理论上，全套的SRC 包含各种转动眼球的SRC。

如下图 眼球微微转动 目向 左前 转移到目向 右前的过程。（删重时候极为容易删掉。）






现实是，大多坛友利用的是论坛下载的SRC提供了主要的信息。但是某些原因 提供素材不够，或过度删重等。就要检查信息位点等做精选，以方便开一点参数。
但当 切脸和删除后。本来一个 头部几乎不动，而 转动眼球的 SRC 镜头1（目向左前ABCDEFGH等多帧完成转向目向右前）。由于 一张SRC图，眼球的比例非常小。经过后删重后可能删掉大量图片，只剩一点点（举例可能只剩下 正前方的D，失去了 目向左前的ABC和向右前的EFGH）。
镜头2  可能剩下A，镜头3可能剩下 F。
正常训练下，脸部其他部位比如脸部 鼻子等面积大而先训练，故你想要的 面积小的眼部转动的完整的信息比例会比较滞后或拼凑完整的机率非常小。


这种情况下。开 “”眼和嘴“”最大优势是对于 有限的 精准的SRC（只从论坛下载获得），不需要补充素材。可以增加眼部和嘴巴的权重，从 其他镜头4，镜头5，镜头6。。。。抽取 眼部 信息。去强化合理拼凑，最后完成眼神转动的信息训练。训练得到跟dst匹配更好的更精准的嘴唇和眼神。

（注意：开 “嘴和眼”等于把相应部位权重增加。如果眼睛的信息位点有错误 ，嘴巴有脏东西遮挡不完美等，则会更加明显。
故，原则下载论坛SRC，建议遮罩筛选一遍，MVE改正，遮罩额外训练等手段，做到宁缺毋滥。再去开 "嘴和眼“”）

WaveBedo

come3002 发表于 2024-5-19 21:04
SRC提供了主要的信息。但是某些原因 提供信息不足以训练。就要开一点参数。
比如开 眼和嘴最大优势是对于  ...

如果开眼嘴、侧脸，会增加一些角度，
并且关掉眼嘴、侧脸之后，这些角度还存在，那我觉得就是应该开的，
如果关掉眼嘴、侧脸之后，这些角度又会被清洗掉，那我觉得，可能就没必要开了，
我搞不清，会不会被清洗掉

我的观察是，开了眼嘴、侧脸，跑几万，
然后关掉，再跑几万，脸的样子会变回原来的样子，只是清晰度有差别而已
也就是关掉之后，合成的效果是一样的，只是清晰度有差别
所以，我不知道，开眼嘴、侧脸的作用是什么

如果作用只是最后阶段修正一下眼嘴、侧脸，
那些最终会关闭眼嘴、侧脸的人，似乎根本没必要开眼嘴、侧脸，
这样起码会减少非常多的训练量

WaveBedo

pasanonic 发表于 2024-5-19 21:19
你不要钻牛角尖了  半成品软件  需要很多很复杂的修修补补才能达到你的要求 没有必要 ...

可能吧。
我知道不能完全消除虚影，但如果一个设置可以减少点虚影，是不是可以试一下，
而且，如果开眼嘴、侧脸反而增加了虚影，那是不是就没必要开了，
如果不开眼嘴、侧脸是不是可以减少十几万的训练量

zhou041234

这哥们太逗了,钻牛角尖里了

DFLive

你看合成后的视频是要用到放大镜吗，有没有可能你所说的虚影其中一部分源于脸型差异