deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2396|回复: 29

几款单图换脸app横评及对DFL提升的设想(含76个对比视频)

[复制链接]

6

主题

31

帖子

974

积分

高级丹师

Rank: 5Rank: 5

积分
974
 楼主| 发表于 2022-9-19 20:35:38 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 BigTom666 于 2024-4-27 18:55 编辑

发这个帖子的目的,是期望各位技术大神能看到这些单图换脸app的运行速度和效果,看能否利用他们用的技术,将这些技术结合到DFL。
之前发过一个帖子(https://dfldata.xyz/forum.php?mod=viewthread&tid=10360),询问单图换脸app的技术,但看来大部分人对此还是不屑一顾,认为是垃圾。但我最近试了几款不同的单图换脸app,特别是有支持自定义视频功能的,觉得现在单图换脸技术不是那么不堪,也能出效果很好的视频。将最近用这些app换脸的视频也分享一下,一些视频的效果很好是有目共睹的。当然,毕竟是单图,有其瓶颈和问题,在这里也探讨一下。

首先需说明的是,单图换脸app是将图和目标视频都在app背后的服务器上完成的,手机只是个上传和下载端,不是在手机本身上进行运算的。

这些app的最大特点,一是只用1张src的照片,二是非常快。一段30秒的视频基本都是1-2分钟内完成(含上传、审核、下载时间),这个速度甩DFL太多了。
因为这些app都有准备好的内置待换脸视频,以前我以为他们都是将待换脸视频提前通过训练好的,所以换起来这么快。但最近发觉不是这样,支持自定义视频换脸的app不可能预先将你上传的待换脸视频训练过,但其换脸的速度依然很快,有时效果也是惊人的好。所以这些app背后用到了一些技术和方法,运算速度非常快,能达到单图换脸也有很好效果的目的。

*********************************我是分割线**********************************************************************************************

现在进入正题,横评一下我试过的这些app
首先声明,我和这些app毛关系没有,没有一点想为它们做广告的意思。由于都是收费app,为了避免嫌疑,我这里以A, B, C, D表示各app。如果你感兴趣,想知道每个app是什么,请下载附件,附件里有文件会说明每个app的名称。附件设了很小的门槛,一是只有真正感兴趣的才会买,二是我整理这些视频和写这个帖子也花不少时间。算是给我一点点小的补偿。

app A
附件共享的大部分视频基本都是用app A的自定义视频功能换脸。这个app支持自定义视频。不直接支持上传自己的视频,但支持将抖音、快手等的视频通过共享链接转过来,然后换脸。这一点上完败其它只能换内置视频的app,这样换脸的视频可以无穷无尽,因为你自己也可以在抖音、快手等上传你的视频,然后再转过来。但也有很多限制,视频最长只能30秒,本来抖音、快手等就对视频审核很严了,这个app会再审核一遍视频,一是会耽搁个10多秒钟,二是真的会莫名其妙一些应该合格的视频不给你审核过,可能仅是因为肉色多一些而已。
费用: 这个app的自定义视频功能不免费。只有其内置的视频是免费的,内置视频比起其他同类app也要少。
效果:很好。一张src照片就能达到不错的换脸效果,有时连你自己可能都不太相信。但毕竟是一张照片,最大问题是在侧脸时会出现很多问题。遮罩处理上,对头发、小物件(一根手指,一根笔,一根烟)处理的还行,但大物件(手掌,胳膊)就会使脸糊了。

app B
只支持app内置的视频,但内置视频量比app A多。
最大特点是免费就能体会不少东西,不像很多别的app,不付费啥都不能干。免费可以给所有内置视频的换脸,但完成后的视频不能下载,只有付费才能下载。适合免费玩家尝鲜用。
效果:内置视频和app A质量差不多。
还有其它的国内换脸app,但基本都是连试都没法试,必须付费才能用,而且没有自定义视频功能。这里就不详述了。如果你发现了还有其它免费好用,或支持自定义视频的,请在这个帖子回复留言。

app C
国外app,需翻墙才能用,而且必须和google账号和google服务绑定,免费用也是这个要求。所以国内手机先要安装google服务的一些东西,对于不熟悉的人来说挺麻烦。
支持免费自定义视频换脸!直接上传视频,自定义视频长度仅支持15秒。但也有个视频审核机制,比国内抖音、快手等肯定宽松很多,但暴露太多,纯啪啪的,基本都审核通不过。
最大优点是只要你能耐得住看广告,一切都是免费的。制作换脸视频,看约30秒广告,下载制作好的视频,看约1分钟广告。
效果:对其内置视频效果还不错,估计其内置视频是事先做过训练的。但对于自定义视频明显比app A要差很多,所以自从用了app A之后,我就再也不用这个app C
了。附件中41号视频是同一视频用app Aapp C的结果做比较,明显app C差很多,脸非常不自然,很假,头一摆动就看出明显不对劲。而appA整体都很自然,只有在头上下摆动时,非常仔细逐帧看,才能看出是换脸视频的嫌疑。这点上国内软件完胜国外啊!

app D
国外app,需翻墙才能用。和google服务没有强制绑定,所以不安装google服务也能用。
付费VIP支持任意自定义视频换脸!没错,是任意,他们号称不审核,他们在一些国外成人网站上也做广告,是这样说的。这就意味着... 呵呵你懂得。
但最麻烦的是要给这个app付费只能通过google账号,而google账号还必须是欧美国家的,对国内是锁区的。这种账号你基本是需要肉身翻墙在国外,有个国外信用卡才能申请这种账号,或者是有外国的亲戚朋友帮忙才行,很麻烦。所以目前我也没法试。
效果:目前只能试其免费的内置视频,效果凑合,但视频分辨率比国内的app都低。附件中4, 5, 6号视频都是这个app做的。

*********************************我是分割线**********************

下来具体分析一下这些换脸app的效果

app A支持自定义视频,效果也很不错,这里就主要讲app A的效果,还有其不足之处。
先说我的主要素材,一张src照片。这位妹子是我爱慕的一位学妹。我也仅有她的一些照片而已。这张照片是张很普通的生活照,通过手机传过来,分辨率也不高,算是照的比较端正的一张正面稍偏一点的头像。好的,这就是我所用的唯一的src素材,附件里的所有换脸视频都是这张照片,没有变过。妹子的真实照片我是不可能分享的,大家就从换脸视频里体验一下这位妹子的靓丽颜值吧。
dst视频就是网上各种各样的能找到的小姐姐视频了,附件里大部分的换脸视频也都配有原视频供比较和参考。
个别视频我也传到了Bilibili上,可以来看看效果。Bilibili对视频质量有不少损耗,看原先的高清视频,还请下载附件。

这是这位妹子的换脸视频(附件中的32号视频),不是原视频。最后侧面鼻子是虚的,可以看出这是换脸视频。但换脸后,我都惊讶和原妹子太像了,这就是她当年在校园里的样子啊,长相、动作、气质、表情都非常像。大家就拿这个视频来脑补原妹子的长相吧。
这也是这位妹子的换脸视频,也和原妹子当年的长相、气质非常像。

附件里36号视频,很像妹子近期的样子。去年同学聚会,她也是类似的一身深色长裙,表情和气质都很像视频里。不过我们当时没有打台球。

【清风皓月 我的妹子】
【清风皓月  原视频】
上面是换脸视频,下面是快手清风皓月的原视频(附件中的35号视频)。我的妹子颜值比这位清风皓月要高,换脸后,视频让人觉得更楚楚动人了,特别是后面撩头发向你看。感觉换脸后视频由于颜值提高吸引力也都提升了。如果我不说和进行比较,你能判断出上面的那个视频是换脸视频么?

【瑾曦曦曦2 我的妹子】
【瑾曦曦曦2 原视频】
这是另一套用快手瑾曦曦曦视频做的换脸视频。可以看到换脸后没有什么违和感,显得很自然,头发遮罩效果很好。特别是后面片段带着眼镜也完美复刻,换成功了。唯一看出点不对劲的地方是视频有段模糊处理的地方,脸没变化得很好,显得突兀。

【姜子牙好久不见】
这是最新做的换脸视频,没放入附件里了,上传大Bili上。可以看到效果依旧惊人的好,就是酒瓶划过嘴时有了破绽。

【金发】
这是国外那个app D的换脸效果,就是视频分辨率低,但换脸效果还是不错的。原视频是appD里的内置视频,效果好,可能是事先对这个视频做过训练。原视频的人是个混血,脸型和中国人不一样,所以换出来和我的妹子不太像了,但别有一番风味。

请注意!以上这些视频都是app仅用1-2分钟就做出来的。除了最后一个是app的内置视频,其它都是自定义视频,所以无论是dst视频,还是src照片app都不可能事先进行过训练。按我不成熟的经验,要达到同样效果,DFL至少要跑3-5小时吧,而且是在有一个很好的预训练模型的基础上。另外,就一张src照片,我不清楚DFL是否真的能做到。

总体上,app A是能支持自定义视频里效果最好的。
1.大部分面部都处理得比较到位,表情复刻得很完美。
2.在遮罩处理上有挺好的表现,特别是头发。比如附件里8号视频有手指和头发遮挡面部的动作,但换脸后看不出异常。附件13号不少细发在额头和眉毛晃动,也都很好的体现了出来。19号三上悠亚的头发随着蹦跳乱动,也都能完美复刻。20号几根秀发横夸整个脸,都快到下巴了,换脸后也没看出违和感。42号,脸上抹了灰也能体现出来,可惜鼻子和额头上的灰给弄不见了。
3.说说遮罩的不足。嘴部的遮罩是个挑战,挡在嘴上的物体经常会出现透明,看到嘴唇,让人一下就看出是换脸了。37号视频是个例外,因为套子,啊不,调料包的银色反光,让透明体现不出来,很好的契合,哈哈。头发,手指这些小一点的物体遮罩处理得都比较好,但大物体就不行了。如果胳膊,腿,或其它大物体划过脸,就会使脸糊成一片。如40号视频,腿划过脸时,就全糊了。
4.眨眼有些不完美。有部分换脸后的视频里觉得眨眼有点机器人的感觉,不是很自然。
5.如果是正面,或者大约60度角度以内的侧面,效果基本都是非常不错的。但一旦完全的90度侧脸,还有扭头转身时,问题就出来了,这也是这种只用1src照片app的最大问题。如10号,22号,有侧脸时,脸的轮廓就重影,虚了,完全废了。
6.最后是方便程度,在手机上只要是抖音和快手等上面的小姐姐视频都能信手拈来,在1-2分钟内迅速变成我妹子的视频。这点是DFL无法给与的。但局限程度也很大,视频最长30秒,有很多你非常想换的视频你无法换(你懂得)。当然,你可以试着去挑战下抖音和快手的视频审核制度,号被封了不要怪我没事先提醒。打擦边球还是可以想想办法。附件中有一个视频是打擦边球成功后的彩蛋。

最后,我想表达的是这些操作简单的换脸app的效果不是那么的不堪,是有值得我们探索和学习的地方。怎样仅靠1src照片,在很短的时间内给未经过训练的dst视频成功换脸,背后肯定有其相应技术的。期望各位大神能好好研究一下,能结合到DFL上来。比如前期就靠这种app技术原理。迅速先做一个初步还可以的换脸视频,后期再用DFL的高级功能将如侧脸,遮罩等的问题修复,应该会事半功倍。相信各位也能从我分享的这些换脸视频中看出,要达到这些app的效果,DFL是至少需要3-5小时的。如果是仅1src照片,DFL可能就做不到。我们论坛也有一个类似的单图换脸程序“幻脸”,本来是想买的,但看到帖子里评论后觉得还是有较长一段路要走,所以暂时我也没买。如果我们论坛的“幻脸”能达到和这些app一样的处理速度和效果,就是售价上千元,我也会买的。期望论坛的各位大神能尽快做出我们的神物。

******************************************************************************************************************************************
没注意,原下载链接失效,现已更新
可直接下载,取消灵石售价。
现在这种一张照片快速换脸的app出来不少,但感觉都是来自同一个公司,什么“星颜”,“颜趣”,“大咖秀”,“玩图秀秀”界面都一样的,收费价格也一样。但其换脸效果和速度确实不错,基本上还是超过目前的FaceFusion和Rope的。
如果大家对一张照片快速换脸感兴趣,还想免费用,可以看我另一个帖子,FaceFusion去除少儿不宜限制版。
https://dfldata.cc/forum.php?mod=viewthread&tid=18194&extra=page%3D1
                                                   
76个对比视频和每个app的名称,都在附件里。
附件压缩包密码:666666
新下载链接已更新
第一次分享居然被百度给屏蔽了... 这次两次压缩,密码都一样,解压前后缀名 rar0 改成 rar


76个视频截图
0919-1.JPG

0919-2.JPG




回复

使用道具 举报

2

主题

27

帖子

2142

积分

初级丹圣

Rank: 8Rank: 8

积分
2142
发表于 2022-9-21 01:51:16 | 显示全部楼层
本帖最后由 huanyuan 于 2022-9-21 02:00 编辑

那些app服务器里边只要数据库足够大,总能找到长得十分相像的素人/女优。
而并不是因为这些app的算法有多么牛逼,追本溯源都是来源于DFL。
而且你上传的这些图片也内化成了这些app数据库的一部分。
屏幕截图 2022-09-21 015745.png
屏幕截图 2022-09-21 014618.png

回复 支持 1 反对 0

使用道具 举报

0

主题

23

帖子

154

积分

高级丹童

Rank: 2

积分
154
发表于 2022-9-19 20:42:20 | 显示全部楼层
支持一下,我也是这么想的
回复 支持 反对

使用道具 举报

13

主题

194

帖子

1835

积分

初级丹圣

Rank: 8Rank: 8

积分
1835
发表于 2022-9-19 21:30:18 | 显示全部楼层
其实我觉得倒是不必追求单图换脸,因为找到优秀的src资源不是什么难事

关键的问题是目前dfl的流程可以实现自动化的操作以及换脸速度能不能再快一点?
回复 支持 反对

使用道具 举报

0

主题

19

帖子

433

积分

初级丹师

Rank: 3Rank: 3

积分
433
发表于 2022-9-20 08:14:23 | 显示全部楼层
如果一个视频有多个人物,这些app会怎样换的
回复 支持 反对

使用道具 举报

0

主题

146

帖子

2337

积分

初级丹圣

Rank: 8Rank: 8

积分
2337
发表于 2022-9-20 08:19:38 | 显示全部楼层
支持一下
回复

使用道具 举报

18

主题

165

帖子

997

积分

高级丹师

Rank: 5Rank: 5

积分
997
发表于 2022-9-20 09:29:31 | 显示全部楼层
不知道这软件里的视频有没有角度比较大的,拿来补充SRC缺失角度
回复 支持 反对

使用道具 举报

6

主题

332

帖子

2342

积分

初级丹圣

Rank: 8Rank: 8

积分
2342
发表于 2022-9-20 09:43:33 | 显示全部楼层
一张脸的话估计是先用云端建模,再提取特征什么的,不过这速度确实挺快的
为啥我的灵石总是突然少几个
回复 支持 反对

使用道具 举报

6

主题

31

帖子

974

积分

高级丹师

Rank: 5Rank: 5

积分
974
 楼主| 发表于 2022-9-20 10:07:11 | 显示全部楼层
dzm 发表于 2022-9-20 08:14
如果一个视频有多个人物,这些app会怎样换的

如果视频里有这个目标被换脸人的单独画面,可以选那个画面来锁定。但如果没有这个人的单独画面就惨了,几个人来回乱换,惨不忍睹,群魔乱舞。
回复 支持 反对

使用道具 举报

6

主题

31

帖子

974

积分

高级丹师

Rank: 5Rank: 5

积分
974
 楼主| 发表于 2022-9-20 10:11:17 | 显示全部楼层
chenchangqing 发表于 2022-9-20 09:43
一张脸的话估计是先用云端建模,再提取特征什么的,不过这速度确实挺快的 ...

估计是先将src一张照片的脸先3D建模处理的,这样在大约正负60度的范围内效果还真不错,但一旦完全侧脸90度,就废了,这也是目前这种app最需要提高的地方。
回复 支持 反对

使用道具 举报

5

主题

112

帖子

747

积分

高级丹师

Rank: 5Rank: 5

积分
747
发表于 2022-9-20 10:18:51 | 显示全部楼层
技术总是再进步的 ~~~
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-22 14:19 , Processed in 0.108384 second(s), 13 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表