VR大片换脸的完整思路以及实践方法

ulu · 发表于昨天 23:02

在论坛挖坟看到VR 换脸的帖子，说的都要么不够详细要么太复杂缺少可行性，此贴作为补充
（需要一定的折腾能力，最好结合 AI 食用，有 ai 辅助的话这套流程会非常简单）

首先高质量 VR 片切帧图会占用巨量空间，硬盘不够大的话会很难顶。
第二 VR 会有畸变问题，用常规的丹很可能不适用，专门练一个 VR 丹的话效果也未必好，得不偿失。

古人云，「先将曲者扭正，按常片剪辑合成，复扭回去即可，无须另炼丹也。」

因此我们把 vr 片的中心部分投影到一个平面上能解决费磁盘和畸变这两大问题。
具体操作：先用 ffmpeg 把画面中间有人脸的部分投影到平面上，根据视频里面人脸在画面上的比例决定取多大角度，这样既可以换脸，又能节省磁盘空间。
换脸完成后，反投影到原VR 视频上（把外圈的部分写好遮罩），这样就保留了原来的 180° 视野。和换脸流程很相似，都是先抠下来，再贴上去，加羽化，完美。
原始 VR
→ 提取 70°×70° 双目透视区域
→ 无损文件
→ 换脸
→ 反投影成 VR 局部补丁
→ 羽化遮罩贴回原始 VR
→ 最后只编码一次成品

流程不复杂，以下给一套我实践过的参数以提供参考

购买主题 已有 3 人购买 本主题需向作者支付 10 灵石 才能浏览

quintus · 发表于 1 小时前

没花灵石的不用看了，只给了将VR180转换成平面视频的ffmpeg命令，和生成遮罩的命令（还用不了）。有用的参数也没有，看到的的参数无非是fov 70,视频分辨率。将换完脸重投影回原视频没有，更没有根据人脸记录每帧调整yaw和pitch并在后续根据记录重投影。给的ffmpeg命令,都不如把问题扔给Ai立即生成的操作

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）