【高端操作】（5.21更新）无需AE的VR视频换脸教程

bbwc1985 · 发表于 2022-5-13 03:19:30

本教程不适合纯小白，需要对DFL的基本原理和流程比较熟悉和了解。不过也没有特别高的要求，不需要用到AE或RP等专业工具。
【5月21日更新】
旋转视角的方法
前言

随着VR设备和资源的普及，不少朋友都对VR视频的换脸开始感兴趣。之前已经有朋友提出，VR视频完全可以像普通视频一样进行换脸。
但是相比普通视频，VR视频有两大特点：
1、类似3D视频，由左右或上下两幅画面类似但角度不同的单眼视频组成；
2、在非VR设备上播放时，画面是严重扭曲的。越是靠近边缘的部分，扭曲越大；越是中心的部分，扭曲越小，但仍然存在扭曲。

VR全图

这是常见的VR视频，画面垂直分为左右两半，并且从背景能明显看出画面是被严重扭曲的

所以如果把VR视频简单的当作普通视频来处理，实际试过的朋友就会知道，这会碰到两大问题：
1、提脸的时候，每一帧画面正常应该识别出2张脸，但是会有很多帧都只能识别到其中一张脸。想手动补提吧，DFL自带的手动提脸功能又无法做到一帧画面提出多张脸，只能借助MVE来进行大量手工处理，费时费力；
2、虽说DFL有一定应对扭曲画面的能力，但数据集毕竟是针对正常画面制作和训练的，严重扭曲还是会对提脸、画遮罩、训练、合成等关键环节产生不同程度的干扰。

那么应该如何解决这两大问题呢？

基本思路

其实我们只需要在DFL原本的流程之外，额外增加几个的步骤：
1、将原VR视频垂直切分成左右两个正方形的独立单眼视频，分别进行处理。这样不但解决了提脸的问题，还大幅降低了需要处理的视频尺寸。
上下3D的VR视频同理，非3D的2D全景视频则跳过这一步。

VR左半图

简单起见，下面仅以左眼视频举例，右眼视频同理

2、将扭曲的单眼视频转换为正常平面的视频

不扭曲的左半图

通过墙和门等背景可以确定，转换后的视频已经不再扭曲

3、按照普通视频的操作流程对转换后的平面视频进行换脸

换脸后的左半图

为了节约时间，这里直接祭出DLRB万能模型进行快速换脸。蓝色边框是额外手工加的，以方便后续演示效果

4、将换完脸的平面还原为VR视频的扭曲格式，左半视频的换脸工作就完成了
截图5-还原为VR的左半图.jpg

可以看到视频截图中这个蓝色线框内的区域，就是我们前面实际处理的正方形平面区域

5、右眼视频也按类似方式处理后，再把处理后的左右眼视频横向拼接起来，就是一部可以放到VR眼镜里观看的换脸视频了！

具体操作

基本思路有了，那么具体该如何操作呢？AE、PR之类的专业工具或许可以，但操作起来过于复杂，而且大部分朋友并不熟悉。
有没有简单点的方法呢？答案当然是有的！具体操作步骤如下：

购买主题 已有 111 人购买 本主题需向作者支付 60 灵石 才能浏览

saimon · 发表于 2022-5-13 10:46:26

bbwc1985 发表于 2022-5-13 10:22
样例只是这种程度的扭曲，是因为更加扭曲的图片由于某些总所周知的原因不适合公开发出来。不保证说全都换 ...

也没说全部手动切，只是某些自动切不到或者不合格的才需要手动切一下，你那一套操作下来，烦琐不说，各种转换，就算说是用原码转换，那画质损失可不小，对于VR来说那可是很致命的

HXIAOH · 发表于 2022-5-13 03:49:55

不愧是高端操作，666

kevinchoi · 发表于 2022-5-13 06:51:48

会玩，哈哈，学习了

wcw888 · 发表于 2022-5-13 07:11:05

值得学习

xswpp · 发表于 2022-5-13 08:03:20

学习观摩一下各位大佬！！！！

烟鬼 · 发表于 2022-5-13 09:08:05

先看看支持一下高端操作

无聊至极 · 发表于 2022-5-13 09:08:34

学习观摩一下大佬！！！！

benlei · 发表于 2022-5-13 09:13:37

666，确实是高端操作，有没有大佬确认下

laizm · 发表于 2022-5-13 09:15:41

确实是高端操作

忘忧之人 · 发表于 2022-5-13 09:43:12

观摩观摩

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

【高端操作】（5.21更新）无需AE的VR视频换脸教程

万事如意节日勋章