萌新对Deepfacelab工作原理的理解，请大佬指正。

qq374501497

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

初学Deepfacelab已有好几天了，首先感谢我的师父  妓术总奸--亿妓知长   这几天对我孜孜不倦的倾囊相授。作为萌新刚入门的我也能做出自己想要的视频了，但是依然还有很多疑惑，下面是本人对这款软件的个人理解，如有理解不对的误区，还希望论坛的大神们多多指点指点。

前言：
在读书学PS的时候，就教过PS本来就是应用于做视频（那时候还没开发PR，后来根据需求才开发的PR，PS专做图画色彩处理）
简单的来说视频就是由一张张不同微小动作组合成的画册，那时候我就在想是不是可以把视频分解成一张张的图，然后自己在上面修改（比如换脸）
得到自己想要的视频，自己那时候还实践了一下，结果不太理想，因为发现有很多角度不够。
然后我就每种角度自拍一张，一张张的比对，一张张的换上去，换上去还得一张张调色，处理边缘等细节。那时候的视频还是24帧的  10秒的视频（240张图片）做一天，工程量巨大！！！
但是效果还是蛮好！

正文：
在疫情的影响下，在职的公司倒闭了，闲在家偶然看到Deepfacelab这款软件能实现换脸，瞬间兴趣就来了，然后就在网上各种找相关资料，想学习这一门技术。
学了几天也颇有心得，但苦于无奈身边没有同行，没人交流经验，师父有时候又很忙，所以也不知道自己对Deepfacelab的工作原理是否理解正确。
以下是纯个人对Deepfacelab的理解：

当我们安装好Deepfacelab后会有两个文件夹及后面一大堆BAT文件

1：_internal  -----------------软件运行逻辑文件（不能动）

2：workspace----------------工作素材文件

在workspace文件夹里有：
DST：目标对象文件（想要换成的视频切图及提取到的头像文件，如：彭于晏）

SRC：源文件（需要换成的视频切图及提取到的头像文件， 如：自己）

model：模型文件（训练后记录到的SRC脸部特征点分布点）


我认为Deepfacelab工作原理：
视频A（DST）每一帧切成图，再识别切图中的脸，提取出脸部的鼻子脸嘴巴的分布方式（表情）还有色彩，然后再跟SRC里面的脸进行比对，
抽取SRC里面鼻子脸嘴巴的分布方式跟DST相似的进行融合，生成新的对应脸部图片（我想这也就是为啥吃虚拟内存的原因吧）
然后我们再进行处理色彩，边缘等问题后再一张张的图片合成新视频。

但是问题来了


既然是一张张的已被我们换脸后的图片合成的，为啥后期合成视频的时候还需要DST的视频文件？？？？


所以我觉得这个想法可能是错的。




最后还有一个问题：
关于后期视频出现的果冻脸（抖动），是不是DST的脸部图片被删多了  导致融合的时候帧不足出现的？

20210901

最后一步视频里面有音频需要调用

后期出现抖动，先要检查DST里面的aligned是否抖动厉害，用预览快速看一下即可，如果出现切脸大小不一致变化大的，则合成后抖动也大。  除此之外抖动是因为训练不足，多训练后也会下降。

wang769

用dst视频，   帧率，声音等方面的原因吧

qq374501497

20210901 发表于 2022-3-25 08:58
最后一步视频里面有音频需要调用

后期出现抖动，先要检查DST里面的aligned是否抖动厉害，用预览快速看一下 ...

多谢大佬答疑解惑。

tianming

你这个理解完全没涉及到工作原理啊。。。

qq374501497

tianming 发表于 2022-3-25 19:36
你这个理解完全没涉及到工作原理啊。。。

今天去试了一下，把DST原视频换掉，依然能合成，最后合成，再转出来的视频里 出现的是我们已替换脸部的视频，而声音却是我们换的那个视频的音频，事实证明这个就是筛选图片找出眼睛嘴巴，然后替换成我们SRC里面的五官分布进行的图片合成，最后要用到视频 仅仅只是调取音频文件

chiiren

視頻僅僅只是調取音頻文件，學習了