deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
12
返回列表 发新帖
楼主: 2560362144

请问换脸换出来的视频中换的人脸一直抖动怎么解决啊?

[复制链接]

5

主题

241

帖子

5559

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5559

万事如意节日勋章

QQ
发表于 2023-9-6 05:45:19 | 显示全部楼层
本帖最后由 Mrdeepfake 于 2023-9-6 06:43 编辑
深海鳕鱼 发表于 2023-9-6 00:28
魔切确实比DFL切脸精准度低,但也不至于低很离谱。最近发现,自行更新了魔切,landmark增强处理选clahe, ...

个人选择罢了。无论如何,稍大角度魔切快切脸脸精度比 DFL 低(甚至特殊场景偏得有点离谱),只要低就会带来提到的一系列问题(有些副作用哪怕精度低得不至于太离谱都会有显著影响),我以前在论坛里详细说过,都懒得一 一举例、解释了。你自己能接受结果自己用就好了。但不可否认,我的办法对新手绝对是万能办法,使用 DFL 切脸、按照正常步骤,不会有那么多妖魔鬼怪。我个人当前追求的是最优结果与效果,并且当前认为制作100部次等作品,不如花时间、精力精心制备1部优等作品,二者效果不是一个档次。我现在都懒得看那些网上大量粗制滥造的作品,太假了!人就是这样,见过优等的,次等的就看不下去了。与精心挑选素材、仔细修正 landmark 并(为了更有表现力)使用 MVE手动提取 dst 困难脸、修正脸型及有问题的合成帧图等人工工作量相比,使用 DFL 默认切脸花费时间根本不算啥!况且这还是自动化工作。 src 更是要精心制备!!!我个人从不接受 src 魔切快切脸,除非有一天它的精度非常高!
回复 支持 反对

使用道具 举报

6

主题

101

帖子

2003

积分

初级丹圣

Rank: 8Rank: 8

积分
2003
发表于 2023-9-6 10:10:52 | 显示全部楼层
Mrdeepfake 发表于 2023-9-6 05:45
个人选择罢了。无论如何,稍大角度魔切快切脸脸精度比 DFL 低(甚至特殊场景偏得有点离谱),只要低就会带 ...

不过我只针对切DST而言,SRC大角度我还是会用DFL的,主要魔切里编辑功能比MVE还好用,但正脸还是会用魔切。
回复 支持 反对

使用道具 举报

6

主题

101

帖子

2003

积分

初级丹圣

Rank: 8Rank: 8

积分
2003
发表于 2023-9-6 14:04:25 | 显示全部楼层
本帖最后由 深海鳕鱼 于 2023-9-6 14:17 编辑

关于抖动问题,个人认为还是切脸坐标不对导致,因为DST是有连续性的,中间某一帧或者几帧出错就会抖,就像心电图一样。
DST选清晰度足够的足以解决99%抖动问题,或是后期处理,我以往抖动是用PR处理,无论多抖都能处理变得很稳定。


我听说过魔切切出来的图用来训练DFL切出来的图都会抖,只是听说,不知真假,但我觉得没影响。
因为两组切出来的参数不一致,DFL貌似是默认切脸比例是0.4,魔切好像大一点,现在都比较多人喜欢切0.3-0.35比例。



回复 支持 反对

使用道具 举报

1

主题

7

帖子

56

积分

高级丹童

Rank: 2

积分
56
发表于 2023-9-10 13:56:15 | 显示全部楼层
Mrdeepfake 发表于 2023-9-5 09:04
我告诉你一种万能解决方法,不要用魔切快切脸,用 DFL 切脸;训练时开启 rct 肤色转化;合成时用 overlay  ...

那请问大佬我中间很多片段没有替换成功怎么回事啊,就是换脸失败那种
回复 支持 反对

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12735
发表于 2023-9-10 15:13:29 | 显示全部楼层
Mrdeepfake 发表于 2023-9-6 05:45
个人选择罢了。无论如何,稍大角度魔切快切脸脸精度比 DFL 低(甚至特殊场景偏得有点离谱),只要低就会带 ...

切脸速度快肯定会牺牲精度,除非是算法或者模型上有更新。
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5559

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5559

万事如意节日勋章

QQ
发表于 2023-9-10 17:01:32 | 显示全部楼层
dfj2000 发表于 2023-9-10 13:56
那请问大佬我中间很多片段没有替换成功怎么回事啊,就是换脸失败那种

多看看基础教程。你没换成功,是因为你对应帧图取脸就失败了。也就是你没换的那些画面本身有人脸,但取脸阶段却没识别出来,也就是你 aligned 文件夹没有对应帧图的人脸。这个是很基础的小白问题。解决方法也比较简单,取脸失败的帧图用 DFL 手动取脸,或者学习一下 MVE 软件,借助 MVE 手动取脸。不会 DFL 手动取脸就去阅读教程;想学 MVE 软件就去论坛搜索相关帖子,有视频解说教程下载链接(来源于 bilibili 网站)。
回复 支持 反对

使用道具 举报

1

主题

7

帖子

56

积分

高级丹童

Rank: 2

积分
56
发表于 2023-9-13 19:59:30 | 显示全部楼层
Mrdeepfake 发表于 2023-9-10 17:01
多看看基础教程。你没换成功,是因为你对应帧图取脸就失败了。也就是你没换的那些画面本身有人脸,但取脸 ...

非常感谢你的回复,我还想请教一下,比如用dflab DirectX12跑的模型导出为dfm,能用在dflivenvidia 版本中吗,也就是deepfacelab用的n卡训练模型,然后导出dfm,放在deepfacelive的n版本中可以正常实时换脸吗
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5559

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5559

万事如意节日勋章

QQ
发表于 2023-9-13 21:23:54 | 显示全部楼层
dfj2000 发表于 2023-9-13 19:59
非常感谢你的回复,我还想请教一下,比如用dflab DirectX12跑的模型导出为dfm,能用在dflivenvidia 版本 ...

我没测试过,但猜测应该是可以的。因为用 N 卡训练过的 SAEHD 模型可以用 DX12 训练,反之亦然。既然如此,那 DFM 模型很可能也是类似的。实在不行,你可以把 SAEHD 模型搬运过来,然后再转换成 DFM 使用即可。
回复 支持 反对

使用道具 举报

1

主题

7

帖子

56

积分

高级丹童

Rank: 2

积分
56
发表于 2023-9-14 00:31:57 | 显示全部楼层
Mrdeepfake 发表于 2023-9-13 21:23
我没测试过,但猜测应该是可以的。因为用 N 卡训练过的 SAEHD 模型可以用 DX12 训练,反之亦然。既然如此 ...

谢谢
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-24 03:36 , Processed in 0.134454 second(s), 33 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表