请教，大家对DST的手动切脸是怎么用？如果不寻求完美的话

seancai110

chicoluk 发表于 2023-9-4 05:10
我的处理方法是，先用自带的debug将大部分漏切，错切的解决一遍，毕竟自带的手动切脸识别率比MVE好，这样能 ...

看代码，特征点只是用来对齐的。特征点并不会被输入进神经网络里。所以，特征点对不准其实影响不大，只要不是一团乱麻的那种就行。

至于你说特征点有偏差，合成结果不好。可能是完美对齐的话，人脸位置会更有一致性，模型识别面部图像的难度会降低吧。但是，我觉得影响不是很大，增加训练次数应该可以解决。

come3002

chicoluk 发表于 2023-9-4 05:10
我的处理方法是，先用自带的debug将大部分漏切，错切的解决一遍，毕竟自带的手动切脸识别率比MVE好，这样能 ...

论坛的底丹专丹，对模糊视频，模糊图片，有愈强则强遇弱则弱现象。
在清晰度高下，换脸效果好，不代表在模糊图片下换脸也很好。

chicoluk

seancai110 发表于 2023-9-4 06:21
看代码，特征点只是用来对齐的。特征点并不会被输入进神经网络里。所以，特征点对不准其实影响不大，只要 ...

（借楼解决下自己问题，估计对楼主也有帮助）谢谢大大回复。我的情况是，假设一个侧脸识别，但是自动的识别把一只看到一半的眼睛识别到很偏很偏的位置去了，但是轮廓哪些倒没有一团乱麻。那这种情况在训练时，眼睛也被识别到同样很偏的位置，这样的情况也是可以通过训练时间最后换到正确的位置吗？如果是真的是太好了，之后我都懒得修正这种了

chicoluk

come3002 发表于 2023-9-4 07:40
论坛的底丹专丹，对模糊视频，模糊图片，有愈强则强遇弱则弱现象。
在清晰度高下，换脸效果好，不代表在 ...

（借楼解决下自己问题，估计对楼主也有帮助）谢谢老大在每篇帖子下都这么耐心给新人详细的解决方案。那如果清晰度介于很清晰和很模糊中间（实际情况也不是每条想换的片子都有4k，1080p居多，有时就算1080p码率还会更低一点），但是识别出现了偏差，这种情况就很容易切不到脸或者切出来的偏差很大，例如吃香蕉的时候，经常切成合嘴的，然后下巴飞出去十万八千里，这种是不是也可通过训练来解决，最后得到正确的张嘴吃香蕉效果呢？

seancai110

chicoluk 发表于 2023-9-4 13:55
（借楼解决下自己问题，估计对楼主也有帮助）谢谢大大回复。我的情况是，假设一个侧脸识别，但是自动的识 ...

关键点并不会输入进神经网络。神经网络全靠图片信息来学习和生成五官。

关键点的眼睛偏移，只是会影响开嘴眼优化时候生成的嘴眼遮罩。不过，嘴眼优化也只是在loss计算的时候，额外增加一个带嘴眼遮罩的loss，不影响前面的全脸loss计算。所以影响有限，很多人不开嘴眼优化一样训练出好结果。

come3002

chicoluk 发表于 2023-9-4 13:55
（借楼解决下自己问题，估计对楼主也有帮助）谢谢大大回复。我的情况是，假设一个侧脸识别，但是自动的识 ...

很多专丹 有遇强则强遇弱则弱现象。


坛友 的模糊图片






放大切图。切脸是完全 切出来 信息点了



零训练直接合成。默认参数没有动



结果：很多是换脸失败的。



尤其 左下角的 刘诗诗专丹
缺失一只眼睛，右腮黑色。太阳穴 白色。
修复难度太大了

come3002

chicoluk 发表于 2023-9-4 14:00
（借楼解决下自己问题，估计对楼主也有帮助）谢谢老大在每篇帖子下都这么耐心给新人详细的解决方案。那如 ...

刘诗诗 零训练直接合成截图

chicoluk

seancai110 发表于 2023-9-4 14:01
关键点并不会输入进神经网络。神经网络全靠图片信息来学习和生成五官。

关键点的眼睛偏移，只是会影响开 ...

明白了，那以后大条道理不修这种了谢谢大大

chicoluk

come3002 发表于 2023-9-4 14:03
很多专丹 有遇强则强遇弱则弱现象。

就是说，只有解决源才是硬道理咯？那么如果不是4k的源，我通过一些工具提升了源的清晰度后，再进行合成，这样按您说的逻辑，应该是会解决大部分切脸问题和最终效果问题？

come3002

chicoluk 发表于 2023-9-4 14:21
就是说，只有解决源才是硬道理咯？那么如果不是4k的源，我通过一些工具提升了源的清晰度后，再进行合成， ...

4k 中景 WF1024 切割
这个 开了T 60.




刘诗诗专丹。头发细节清晰，面部清晰，腮部没有明显的异常。
下牙齿都出来了。
你说神奇不神奇。

遇强则强，才能发挥 刘诗诗等专丹最大优势。

相比 遇弱则弱需要复杂的工序。用4k/或1080p的高码率资源，能节约大量的时间。