请问换脸换出来的视频中换的人脸一直抖动怎么解决啊？

Mrdeepfake

深海鳕鱼 发表于 2023-9-6 00:28
魔切确实比DFL切脸精准度低，但也不至于低很离谱。最近发现，自行更新了魔切，landmark增强处理选clahe， ...

个人选择罢了。无论如何，稍大角度魔切快切脸脸精度比 DFL 低（甚至特殊场景偏得有点离谱），只要低就会带来提到的一系列问题（有些副作用哪怕精度低得不至于太离谱都会有显著影响），我以前在论坛里详细说过，都懒得一 一举例、解释了。你自己能接受结果自己用就好了。但不可否认，我的办法对新手绝对是万能办法，使用 DFL 切脸、按照正常步骤，不会有那么多妖魔鬼怪。我个人当前追求的是最优结果与效果，并且当前认为制作100部次等作品，不如花时间、精力精心制备1部优等作品，二者效果不是一个档次。我现在都懒得看那些网上大量粗制滥造的作品，太假了！人就是这样，见过优等的，次等的就看不下去了。与精心挑选素材、仔细修正 landmark 并（为了更有表现力）使用 MVE手动提取 dst 困难脸、修正脸型及有问题的合成帧图等人工工作量相比，使用 DFL 默认切脸花费时间根本不算啥！况且这还是自动化工作。 src 更是要精心制备！！！我个人从不接受 src 魔切快切脸，除非有一天它的精度非常高！

深海鳕鱼

Mrdeepfake 发表于 2023-9-6 05:45
个人选择罢了。无论如何，稍大角度魔切快切脸脸精度比 DFL 低（甚至特殊场景偏得有点离谱），只要低就会带 ...

不过我只针对切DST而言，SRC大角度我还是会用DFL的，主要魔切里编辑功能比MVE还好用，但正脸还是会用魔切。

深海鳕鱼

关于抖动问题，个人认为还是切脸坐标不对导致，因为DST是有连续性的，中间某一帧或者几帧出错就会抖，就像心电图一样。
DST选清晰度足够的足以解决99%抖动问题，或是后期处理，我以往抖动是用PR处理，无论多抖都能处理变得很稳定。


我听说过魔切切出来的图用来训练DFL切出来的图都会抖，只是听说，不知真假，但我觉得没影响。
因为两组切出来的参数不一致，DFL貌似是默认切脸比例是0.4，魔切好像大一点，现在都比较多人喜欢切0.3-0.35比例。

dfj2000

Mrdeepfake 发表于 2023-9-5 09:04
我告诉你一种万能解决方法，不要用魔切快切脸，用 DFL 切脸；训练时开启 rct 肤色转化；合成时用 overlay  ...

那请问大佬我中间很多片段没有替换成功怎么回事啊，就是换脸失败那种

seancai110

Mrdeepfake 发表于 2023-9-6 05:45
个人选择罢了。无论如何，稍大角度魔切快切脸脸精度比 DFL 低（甚至特殊场景偏得有点离谱），只要低就会带 ...

切脸速度快肯定会牺牲精度，除非是算法或者模型上有更新。

Mrdeepfake

dfj2000 发表于 2023-9-10 13:56
那请问大佬我中间很多片段没有替换成功怎么回事啊，就是换脸失败那种

多看看基础教程。你没换成功，是因为你对应帧图取脸就失败了。也就是你没换的那些画面本身有人脸，但取脸阶段却没识别出来，也就是你 aligned 文件夹没有对应帧图的人脸。这个是很基础的小白问题。解决方法也比较简单，取脸失败的帧图用 DFL 手动取脸，或者学习一下 MVE 软件，借助 MVE 手动取脸。不会 DFL 手动取脸就去阅读教程；想学 MVE 软件就去论坛搜索相关帖子，有视频解说教程下载链接（来源于 bilibili 网站）。

dfj2000

Mrdeepfake 发表于 2023-9-10 17:01
多看看基础教程。你没换成功，是因为你对应帧图取脸就失败了。也就是你没换的那些画面本身有人脸，但取脸 ...

非常感谢你的回复，我还想请教一下，比如用dflab DirectX12跑的模型导出为dfm，能用在dflivenvidia 版本中吗,也就是deepfacelab用的n卡训练模型，然后导出dfm，放在deepfacelive的n版本中可以正常实时换脸吗

Mrdeepfake

dfj2000 发表于 2023-9-13 19:59
非常感谢你的回复，我还想请教一下，比如用dflab DirectX12跑的模型导出为dfm，能用在dflivenvidia 版本 ...

我没测试过，但猜测应该是可以的。因为用 N 卡训练过的 SAEHD 模型可以用 DX12 训练，反之亦然。既然如此，那 DFM 模型很可能也是类似的。实在不行，你可以把 SAEHD 模型搬运过来，然后再转换成 DFM 使用即可。

dfj2000

Mrdeepfake 发表于 2023-9-13 21:23
我没测试过，但猜测应该是可以的。因为用 N 卡训练过的 SAEHD 模型可以用 DX12 训练，反之亦然。既然如此 ...

谢谢