咨询下旋转DST切脸到合成的问题

血腥玛丽

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

由于岛国小电影躺着画面居多，从视频分解成视频帧，为了更好的识别切脸，手动将DST横躺着的帧率图逆时针90度翻转成为竖屏的画面，并且成功切脸。


合成前再把原来逆时针90度翻转的帧率图还原回正常的横屏状态，进行合成。

问题就来了，合成进度是可以100%完成，但是人脸却没有合成上去，仔细观察过人脸模模糊糊在90度翻转过的位置上，并没有在正常横屏的人脸位置上。

就是说DFL合成并不是根据识别人脸来合成，而根据当时切脸时人脸出现的位置来合成，最初切脸位置在哪里，那么合成就在那里。

有没有高玩看看有什么办法解决下横屏转竖屏切脸后合成时没人脸的问题？

剪辑时先把躺着的画面先旋转，导出视频，再分解帧率图切脸这个方法是可以的，合成也可以的，但问题在于剪辑时横屏转竖屏之后画面的比例大大缩减，所以想了个在帧率图旋转切脸后再恢复横屏来合成，但是没有用。

深海鳕鱼

逆时针90°后切脸，合成的时候先不要把旋转过的帧率图恢复。
等合成结束后，在merged文件夹里再把逆时针90°旋转过帧率图顺时针90°恢复回横屏就可以导出视频了。
merged_mask文件夹里的不需要顺时针90°恢复，好像没影响。

这个方法很早就用了，无可否认人物躺着的帧率图切脸识别率不怎么高，landmark还容易出错，旋转为竖屏再切脸，识别率和landmark正确率确实提升不少。

对于经常换躺着视频的小伙伴这是个不错的参考，也免去了up所说的剪辑视频时将横屏转换为竖屏画面比例大大缩减的问题。

血腥玛丽

深海鳕鱼 发表于 2023-11-11 07:00
逆时针90°后切脸，合成的时候先不要把旋转过的帧率图恢复。
等合成结束后，在merged文件夹里再把逆时针90 ...

刚试过了，终于解决问题了，终于可以不再剪辑视频时旋转视频了，感谢。