最准确的特征点是什么样的？手动修改的参照是什么

DFL小白02

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

      像图里原版软件的切脸，仔细观察发现五官也不是完美的框选，比如图一眼睛只是一个大概的框，没有圈出完整的眼睛，右眼角的对齐也有偏差，眼眉的话同样不是完整的从眼眉起点画到终点，甚至个别切图的画线会高出眼眉上边界一小段距离。这样MVE手动修改时就猜不出原版切脸描点的逻辑，是不是尽可能把肉眼能看到的最完整的眼睛轮廓，嘴唇沿轮廓最完整的圈出来才是最好的？
      然后类似图里的原版小偏差自己按这个意思手动修正一下对比原切直接用会更好？亦或是这样修改会破坏原版的识别逻辑，反而对模型训练更不利？
      再有图二闭眼只剩上眼皮，软件框选眼睛特征的时候它又是想要框的什么呢？

seancai110

不用在意这种细节。差不多就行。特征点不会输入到模型里，只是切脸和合成的时候对齐用的。嘴眼的大小，也只有在开了嘴眼优化的时候，计算loss的时候，会加上一项用了嘴眼特征点生成的遮罩的loss。

嘴眼优化的目的是为了加强眼神和嘴内部结构，所以，没有框柱外面也无所谓。

music2222

seancai110 发表于 2024-7-12 16:21
不用在意这种细节。差不多就行。特征点不会输入到模型里，只是切脸和合成的时候对齐用的。嘴眼的大小，也只 ...

  就是开了嘴眼优化，没看侧脸优化，就是只训练嘴眼的意思？

seancai110

music2222 发表于 2024-7-13 09:06
就是开了嘴眼优化，没看侧脸优化，就是只训练嘴眼的意思？

没有。开嘴眼优化只是算loss的时候多加一项只计算嘴眼的loss而已，实际上还是以全脸为主。

platexyxy

我的理解，这个特征点图满足两个条件就行
1、五官都在大致的位置上
2、整个五官相对于人脸角度来说是正确的

前一个好理解，后一个主要就是涉及到人脸pitch和yaw角度问题，如果五官都框住了或者在附近，但是角度差的比较大的话（比如人脸实际是仰视的，不过只看特征点有点像俯视或平视，以我的标准就想要重切了），还是重切比较稳妥

DFL小白02

seancai110 发表于 2024-7-12 16:21
不用在意这种细节。差不多就行。特征点不会输入到模型里，只是切脸和合成的时候对齐用的。嘴眼的大小，也只 ...

是不是有些角度嘴的特征点乱七八糟纠成团的也没事，没开眼嘴时照样能训练？

seancai110

DFL小白02 发表于 2024-7-22 14:37
是不是有些角度嘴的特征点乱七八糟纠成团的也没事，没开眼嘴时照样能训练？ ...

是的，只要不是整张脸都是一团乱麻就行。

其实开了嘴眼也没事，开嘴眼只是相对会多注意嘴眼部位而已，反正你整张脸都要学的，偶尔注意一下鼻子也没事。

DFL小白02

seancai110 发表于 2024-7-22 15:19
是的，只要不是整张脸都是一团乱麻就行。

其实开了嘴眼也没事，开嘴眼只是相对会多注意嘴眼部位而已，反 ...

好的，谢谢