DFM模型（liae）实际使用时有点毛病，有大神帮忙解答下吗？

woniu630353 · 发表于 2024-2-18 17:23:28

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

liae，自己训练的DFM模型，在实际使用的时候，发现如果我眨眼，就会导致合成后的画面出现面部扭曲，如果不眨眼，则合成后的画面正常，不知道是怎么引起的？

有没有遇到过这个情况的，麻烦帮忙解答下，我怀疑是在训练的时候，扭曲次数不够

wtxx8888 · 发表于 2024-2-18 20:15:22

本帖最后由 wtxx8888 于 2024-2-18 20:32 编辑

woniu630353 发表于 2024-2-18 18:53
我遇到的是眨眼的时候合成后的画面的脸部明显地扭曲了一下；遮挡的问题，这个确实会扭曲走样；
...

我不玩直播丹，所以直播这块不太熟悉。
只知道实时模型不是换片子视频。DST的图片数量（写入遮罩后），决定转出实时模型DFM的遮罩泛化适性。
你DST只有区区6千，个人感觉效果就好不了（遮罩能力差）。

DorisDFL · 发表于 2024-2-18 17:51:04

好像是liae架构的通病,
论坛里坛主自己发的那几个liae带dfm有同样问题,
自己尝试练过几个不同模型试验也一样

wtxx8888 · 发表于 2024-2-18 18:07:47

本帖最后由 wtxx8888 于 2024-2-18 18:39 编辑

反诈骗里不就教你，实时聊天要求对方眨眼或捂脸，以区分是否是AI换脸的合成图像？
你这是新闻都不看呗？AI实时换脸一遇到遮挡，图像百分之90要扭曲走样！
除非你的丹，是海量素材练出来的（CelebA这种20万以上的量），泛化足够强劲，才可能不扭曲。
这个素材量，目测最少也得千万以上的迭代。

大赤焰 · 发表于 2024-2-18 18:40:31

wtxx8888 发表于 2024-2-18 18:07
反诈骗里不就教你，实时聊天要求对方眨眼或捂脸，以区分是否是AI换脸的合成图像？
你这是新闻都不看呗？AI ...

是这样啊！~

woniu630353 · 发表于 2024-2-18 18:46:31

DorisDFL 发表于 2024-2-18 17:51
好像是liae架构的通病,
论坛里坛主自己发的那几个liae带dfm有同样问题,
自己尝试练过几个不同模型试验也一 ...

我感觉应该是扭曲不够

woniu630353 · 发表于 2024-2-18 18:53:37

wtxx8888 发表于 2024-2-18 18:07
反诈骗里不就教你，实时聊天要求对方眨眼或捂脸，以区分是否是AI换脸的合成图像？
你这是新闻都不看呗？AI ...

我遇到的是眨眼的时候合成后的画面的脸部明显地扭曲了一下；遮挡的问题，这个确实会扭曲走样；
我的liae预训练了100多W，标准训练了500多W ，DST素材有6000多张精心挑选的；我觉得这个训练量应该不至于眨眼就出现扭曲，以前用DF也没发现这个问题，现在liae有这个问题；我现在怀疑应该是有两方面引起的：
1，扭曲训练不够；
2，SRC素材挑选有问题，比如脸部光影太杂乱，以及清晰度不够

但是想找出来真正的原因，非常难，所以才想着在论坛发个贴看看有朋友遇到过这个问题并成功解决了的