deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 970|回复: 6

萌新对Deepfacelab工作原理的理解,请大佬指正。

[复制链接]

1

主题

10

帖子

76

积分

高级丹童

Rank: 2

积分
76
 楼主| 发表于 2022-3-25 08:51:45 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
初学Deepfacelab已有好几天了,首先感谢我的师父  妓术总奸--亿妓知长   这几天对我孜孜不倦的倾囊相授。作为萌新刚入门的我也能做出自己想要的视频了,但是依然还有很多疑惑,下面是本人对这款软件的个人理解,如有理解不对的误区,还希望论坛的大神们多多指点指点。

前言:
在读书学PS的时候,就教过PS本来就是应用于做视频(那时候还没开发PR,后来根据需求才开发的PR,PS专做图画色彩处理)
简单的来说视频就是由一张张不同微小动作组合成的画册,那时候我就在想是不是可以把视频分解成一张张的图,然后自己在上面修改(比如换脸)
得到自己想要的视频,自己那时候还实践了一下,结果不太理想,因为发现有很多角度不够。
然后我就每种角度自拍一张,一张张的比对,一张张的换上去,换上去还得一张张调色,处理边缘等细节。那时候的视频还是24帧的  10秒的视频(240张图片)做一天,工程量巨大!!!
但是效果还是蛮好!

正文:
在疫情的影响下,在职的公司倒闭了,闲在家偶然看到Deepfacelab这款软件能实现换脸,瞬间兴趣就来了,然后就在网上各种找相关资料,想学习这一门技术。
学了几天也颇有心得,但苦于无奈身边没有同行,没人交流经验,师父有时候又很忙,所以也不知道自己对Deepfacelab的工作原理是否理解正确。
以下是纯个人对Deepfacelab的理解:

当我们安装好Deepfacelab后会有两个文件夹及后面一大堆BAT文件

1:_internal  -----------------软件运行逻辑文件(不能动)

2:workspace----------------工作素材文件

在workspace文件夹里有:
DST:目标对象文件(想要换成的视频切图及提取到的头像文件,如:彭于晏)

SRC:源文件(需要换成的视频切图及提取到的头像文件, 如:自己)

model:模型文件(训练后记录到的SRC脸部特征点分布点)


我认为Deepfacelab工作原理:
视频A(DST)每一帧切成图,再识别切图中的脸,提取出脸部的鼻子脸嘴巴的分布方式(表情)还有色彩,然后再跟SRC里面的脸进行比对,
抽取SRC里面鼻子脸嘴巴的分布方式跟DST相似的进行融合,生成新的对应脸部图片(我想这也就是为啥吃虚拟内存的原因吧)
然后我们再进行处理色彩,边缘等问题后再一张张的图片合成新视频。

但是问题来了


既然是一张张的已被我们换脸后的图片合成的,为啥后期合成视频的时候还需要DST的视频文件????


所以我觉得这个想法可能是错的。




最后还有一个问题:
关于后期视频出现的果冻脸(抖动),是不是DST的脸部图片被删多了  导致融合的时候帧不足出现的?














回复

使用道具 举报

11

主题

305

帖子

3324

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3324
发表于 2022-3-25 08:58:59 | 显示全部楼层
最后一步视频里面有音频需要调用

后期出现抖动,先要检查DST里面的aligned是否抖动厉害,用预览快速看一下即可,如果出现切脸大小不一致变化大的,则合成后抖动也大。  除此之外抖动是因为训练不足,多训练后也会下降。
回复 支持 反对

使用道具 举报

32

主题

309

帖子

2745

积分

初级丹圣

Rank: 8Rank: 8

积分
2745

万事如意节日勋章

发表于 2022-3-25 09:53:15 | 显示全部楼层
用dst视频,   帧率,声音等方面的原因吧
回复 支持 反对

使用道具 举报

1

主题

10

帖子

76

积分

高级丹童

Rank: 2

积分
76
 楼主| 发表于 2022-3-25 10:13:33 | 显示全部楼层
20210901 发表于 2022-3-25 08:58
最后一步视频里面有音频需要调用

后期出现抖动,先要检查DST里面的aligned是否抖动厉害,用预览快速看一下 ...

多谢大佬答疑解惑。
回复 支持 反对

使用道具 举报

2

主题

78

帖子

566

积分

高级丹师

Rank: 5Rank: 5

积分
566
发表于 2022-3-25 19:36:25 | 显示全部楼层
你这个理解完全没涉及到工作原理啊。。。
回复 支持 反对

使用道具 举报

1

主题

10

帖子

76

积分

高级丹童

Rank: 2

积分
76
 楼主| 发表于 2022-3-26 00:06:12 | 显示全部楼层
tianming 发表于 2022-3-25 19:36
你这个理解完全没涉及到工作原理啊。。。

今天去试了一下,把DST原视频换掉,依然能合成,最后合成,再转出来的视频里 出现的是我们已替换脸部的视频,而声音却是我们换的那个视频的音频,事实证明这个就是筛选图片找出眼睛嘴巴,然后替换成我们SRC里面的五官分布进行的图片合成,最后要用到视频 仅仅只是调取音频文件
回复 支持 反对

使用道具 举报

2

主题

661

帖子

7503

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7503

万事如意节日勋章

发表于 2022-3-26 06:57:05 | 显示全部楼层
視頻僅僅只是調取音頻文件,學習了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-27 08:47 , Processed in 0.133298 second(s), 34 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表