谁给讲下软件脸部识别逻辑

DFL小白02

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

我是用MVE给dst视频的运动模糊帧手动加landmark了，发现最后合成还是糊的，好奇软件脸部识别是什么逻辑的？手动添加眼嘴之类的特征点好像不能影响最终替换？
另外一个小问题顺便也问一下，有的人炼丹的时候dst集不删模糊图的，真能增加适应性吗？

pasanonic

运动中拆帧的脸图本来就是模糊的,还有远景,如果碰到60帧,120帧的更多
真的合成后这个片段一晃眼就过去了,没必要

wtxx8888

清晰程度以DST的现状为主，说白了，你DST是糊的，换出来的，必然就是糊的无解。
DST要看是什么图集，视频的一帧不能删，不然换了脸由于缺帧，会脸闪。
就是不想要的话，需要用视频剪辑软件，提前把不要的部分切掉，再拆帧。
预训练的DST，看自己的心情决定，要不要糊的。

come3002

个小问题顺便也问一下，有的人炼丹的时候dst集不删模糊图的，真能增加适应性

=========================
看你用途。
零训练直接合成的丹换脸樱花为例。
高分辨率模型换脸 4k 近景。由于很多优质的30-50G一部的60fps 高码率樱花 近景下几乎很少有模糊帧。训练时候，DST数据集就尽量少加模糊图，多加能看到更多细节的优质图片。
将来零训练直接合成，细节能更出彩。
相反，低分辨率模型，3G-8G 1080p樱花，500M-1G一部的 720p远古樱花等换脸 模糊居多（bed激战，720p 远古有的运动模糊会有重影，甚至还有一堆识别失败的脸），就要训练时候适当增加运动模糊帧。将来零训练直接合成，达到运动模糊帧也能完美契合的效果。
（注意：需要找一个平衡度，尽量要能切脸的比如1080p 高码率樱花版本，模糊帧但是能切出人脸来，有希望换脸；720p 中景 运动模糊时候，一部分 由于识别失败无法切脸就会无法换脸，这样的失败帧比较多就换脸抖动一会换脸了一会露出原樱花，影响感观。）