单图换脸的技术瓶颈

haibao637

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

deepfacelab 框架是否能实现通用单图换脸？

a493151515

合成之后不就是单图换脸？

haibao637

a493151515 发表于 2022-11-29 13:09
合成之后不就是单图换脸？

不， 是类似于simswap 框架， 只要输入一张图片和一段视频，实现换脸。

kanbumingbai

理论上肯定行啊，但是效果肯定拉跨啊，多图都不一定像，单图感觉挺难的，DFL大概的理论就是用多个图片来建模，摆好角度，搞好表情，打好光，然后贴在你要覆盖的人的脸上，大概是2D-3D-2D这么个过程，你只有一张照片以前也有人做过，效果挺难的，我自己也试过，还不如不做，

913211409

kanbumingbai 发表于 2022-11-30 00:08
理论上肯定行啊，但是效果肯定拉跨啊，多图都不一定像，单图感觉挺难的，DFL大概的理论就是用多个图片来建 ...

技术有，AI人脸融合就数腾讯的做的最好了，但是普通人用不上

pop1868

现在手机上很多APP都是用一张照片换脸的，做出来的效果还不错，而且速度还挺快的！不知道是用的什么技术！

duanmuzr

pop1868 发表于 2022-11-30 17:02
现在手机上很多APP都是用一张照片换脸的，做出来的效果还不错，而且速度还挺快的！不知道是用的什么技术！ ...

那些一般都是固定的视频模板，大部分都是正面角度。

而且要像的话，还是需要脸型接近。

如果有你这类dst素材，用DFL效果差不多，只不过你的运算在本地，要慢得多

duanmuzr

滚石不是发过单图换脸吗？——《幻脸》

效果可能是不能说像本人的，但是技术尝试还是很牛叉的。
我猜想是先建模把单图生成多角度模拟画面，再通过内置的全角度dst把src逼出来。第一步就会导致不像本人。
目前个人了解的极致做法是，自己用单脸建模软件，生成脸部模型，手动微调捏脸后，生成多角度脸图，再训练合成。但是有什么src值得你这么弄呢？哈哈

haibao637

kanbumingbai 发表于 2022-11-30 00:08
理论上肯定行啊，但是效果肯定拉跨啊，多图都不一定像，单图感觉挺难的，DFL大概的理论就是用多个图片来建 ...

目前dfl 在质量上确实高于单图换脸，但是从落地的角度上看，成本很高呀。

haibao637

913211409 发表于 2022-11-30 03:30
技术有，AI人脸融合就数腾讯的做的最好了，但是普通人用不上

普通人也不会搞换脸吧，主要从提供服务的角度出发，单图如果能达到dfl的效果，商业价值会不会更大。