deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 12919|回复: 491

【随风技术论】DFL换脸技术关键꧁三要素꧂

  [复制链接]

26

主题

58

帖子

6540

积分

高级丹圣

多领域技术控

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6540

荣誉会员勋章小有贡献勋章灵石富豪勋章

 楼主| 发表于 2022-10-30 19:59:00 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:1  我的评分:未评
本帖最后由 随风 于 2023-10-6 11:30 编辑

素材---模型---方法

----------------------------三个关键要素缺哪个都影响着整个换脸效果




---换脸目的就是把SRC的面貌特征整体搬到DST上
---从脸庞能让人分辨出是某人,无不在于动作,表情及神情姿态
---要把这些特征能尽可能的搬到DST上,模型架构很重要,这就是为什么我热衷DF模型架构的原因之一
---模型是面折射镜,效果好坏全靠素材的映射,模型再好若没好素材就成了面照妖镜
---好素材、好模型,出好效果后还需要好方法才能合成出好的效果

素材
---所谓一套完整的SRC素材,包含各种角度,各种光景,各种表情,各种神态;除非你是要做大工程,不然并没有必要去追求
---SRC素材只要有DST的角度范围内的表情,神态,特征已经能完成一次换脸操作
---素材如果缺角度,那效果就不能换出SRC的角度样子(换出来轮廓看上去不像,百分之60的不像都因轮廓)
---素材如果缺表情,那效果就不能体现SRC的表情特征(换出来该闭眼的没闭,该笑的却在哭等)
---素材如果缺光影,那效果就不能溶入DST的背景光线(脸部出现闪烁,颜色不对,很难融合等)
---素材清晰度是各人追求,如果DST素材原本不算高清,也没必要SRC的超清,非要毛孔都出来的,这也是一种追求
---总的来说,素材如果不齐,效果就不可能会好,最关键的要素


模型
---当你有了一套完整的SRC素材,如果没有好的模型去给你映射出效果,那也是需要花费很大的时间与精力
---是不是有时训练的迭代数很多很久都觉得不像SRC?又或者SRC素材本来很齐全,却怎么都练不出好的效果?怎么看都留有DST的影子?很难变得清晰?这时你就要考虑是模型的问题
---如果用亚州女性人像练的模型,在换男性人脸时会很慢,换欧美人时会更慢,为什么?因为人像练出来的模型局限性很大,不同人种的五观位置不一样,限定模型在某个特定区域对色彩的学习
---这种情况常在遇到五观位置差别大时就会出现,一但出现就要通过开启各种参数来重新调整让模型学习
---把模型当作一辆车,一档起步,到了时速20KM时换二档,30KM换三档,40KM换四档,50换五档,80以上换6档
---相当于在训练过程中视迭代效果来开启各项参数,以保证模型的正常学习率
---后来对模型研究有了深入的了解和突破,相当于把一辆车的各项性能都调较得比较完美,只需要一组参数就能跑到输出,连LRD,GAN都不需要了。相当于起步一档就到120KM
---所以有好素材,没有好的模型,效果也不会有预期中的理想,好模型是你成功换脸的第二关键要素


方法
---方法是润滑剂,也是促进剂,能让你适当的时候感知并采用合适的方法去使整个流程更有效率
---突然想起了一条评论

这是我写的一篇<多人视频中精确提脸>下的评论,PR遮罩画法非常的简单,几分钟的事,从0开始学到画完输出我想你的筛选还没跑完
质量还损失惊人?惊人?我想说就算你用再高级的摄影机原片(算你16K如何)放进DFL里提取脸,输出也只有96dpi和24位深图,损失确实挺惊人的
---所以剪辑视频时不要一味的追求多高,多无损,DFL只认自己的格式,96dpi和24位,再大也没用


---当你有了好素材,好模型,出了好效果后,如效果图已经很像SRC了,但是输出时却怎么都无法合成出来,轮廓不是大就是小,这就需要方法去处理
---当然你可以选择用羽化来适应,这样就没有了SRC的轮廓,损失了60%的相似度
---用DFL自带的效果是无法换轮廓的,这就需要用到多种视频处理软件,例如:达芬奇,PR,AE等,别觉得很难,只学某项其实也很简单
---方法能让你在整个操作过程中察觉出异样,减少很多不必要的输出与打转
---当技巧方法掌握到一定程度下,你就会达到别人过弯减速慢行,而你是油门踩尽飘移过弯的境界,即炫酷又高效




最近看到许多贴子说怎么都换不像,换脸还需要找适应的脸,已经失去了耐心和兴趣
学好DFL换脸是技术也是一种学问,都需要时间来沉淀与提升,慢慢来,不急
换脸只要方法得当,是不需要找适应的轮廓的,我做了个效果(回复可看),没有精修,将就着看吧


游客,如果您要查看本帖隐藏内容请回复






评分

参与人数 2贡献 +2 收起 理由
feng7902 + 1 很给力!
linmo + 1 赞一个!

查看全部评分

保姆级教学入门到精通,平时比较少来论坛,联系方式请移步贴:https://dfldata.cc/forum.php?mod=viewthread&tid=525&page=1&extra=#pid7094      【出售手中256、384、512三种规格的开荒松土模型,都是用2张A100 80GGPU服务器练制 23/04/13】
回复

使用道具 举报

1

主题

170

帖子

941

积分

高级丹师

Rank: 5Rank: 5

积分
941
发表于 2022-10-30 22:15:41 | 显示全部楼层
喜欢看这位大佬的帖子,干一行爱一行
回复 支持 4 反对 0

使用道具 举报

8

主题

90

帖子

1351

积分

初级丹圣

Rank: 8Rank: 8

积分
1351
发表于 2022-10-31 23:33:25 | 显示全部楼层
谢谢大神解惑
回复 支持 1 反对 0

使用道具 举报

15

主题

131

帖子

746

积分

高级丹师

Rank: 5Rank: 5

积分
746
发表于 2022-10-31 18:41:00 | 显示全部楼层
让我看看,随风大佬出品,必属精品
回复 支持 1 反对 0

使用道具 举报

4

主题

60

帖子

2539

积分

初级丹圣

Rank: 8Rank: 8

积分
2539
发表于 2022-10-31 16:28:40 | 显示全部楼层
大神又来教姿势了
回复 支持 1 反对 0

使用道具 举报

23

主题

268

帖子

1445

积分

初级丹圣

Rank: 8Rank: 8

积分
1445
发表于 2022-10-30 20:07:05 | 显示全部楼层
让我康康!!!
回复

使用道具 举报

3

主题

125

帖子

1306

积分

初级丹圣

Rank: 8Rank: 8

积分
1306
发表于 2022-10-30 20:18:45 | 显示全部楼层
学习一下
回复

使用道具 举报

32

主题

777

帖子

4658

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4658
发表于 2022-10-30 20:31:39 | 显示全部楼层
看看大佬的经验
回复 支持 反对

使用道具 举报

4

主题

336

帖子

4313

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4313

万事如意节日勋章

发表于 2022-10-30 20:32:26 | 显示全部楼层
学习一下
回复

使用道具 举报

4

主题

368

帖子

4262

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4262
发表于 2022-10-30 20:41:06 | 显示全部楼层
学习学习 谢谢大大的分享
回复 支持 反对

使用道具 举报

17

主题

132

帖子

1943

积分

初级丹圣

Rank: 8Rank: 8

积分
1943
发表于 2022-10-30 20:52:49 | 显示全部楼层
学习学习
回复

使用道具 举报

7

主题

135

帖子

3741

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3741
发表于 2022-10-30 21:07:50 | 显示全部楼层
还有什么干货
回复 支持 反对

使用道具 举报

4

主题

32

帖子

1711

积分

初级丹圣

Rank: 8Rank: 8

积分
1711
发表于 2022-10-30 21:12:22 | 显示全部楼层
继续学习
回复

使用道具 举报

10

主题

307

帖子

2719

积分

初级丹圣

Rank: 8Rank: 8

积分
2719

万事如意节日勋章

发表于 2022-10-30 21:19:11 | 显示全部楼层
这要学习下
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-5-11 23:16 , Processed in 0.091562 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表