deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 37085|回复: 829

【随风技术论】DFL换脸技术深论之<SRC素材补齐法>

  [复制链接]

26

主题

58

帖子

6540

积分

高级丹圣

多领域技术控

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6540

荣誉会员勋章小有贡献勋章灵石富豪勋章

发表于 2020-12-31 17:44:26 | 显示全部楼层 |阅读模式
SRC素材,在整个DFL软件中起着非常重要的作用,尺寸、像素、细节、光线、各种角度、各式表情等影响着最终的合成效果。
大部分素材来源一般都是从各种视频中截取,而我有点不一样,我工作是给客户视频补妆,这方面基本不缺,要是缺素材可以直接找客户过来拍一套就行了。
虽然我不缺,但也从中发现了些技巧,可以有效的补充SRC素材的缺乏。

如何才算完整的一套素材呢?
有些人喜欢了某个角色后,会不停的更换目标素材,以达到自己的需求,当目标视频量大时就会想要一套完整的SRC素材做为基础。
SRC素材之前我提过最好就是光线平和,无阴影。而不是一大堆光线不统一的做为素材。
假如目标视频是一段从左往右的摆头动作,你的素材里左侧脸素材色暗,正脸素材色亮,右侧脸素材偏绿,那训练出来的结果就会一个摆头动作过去光线差别相当之大,尽管你是大神级的调色都难调和谐。
最佳的就是不带光线柔和的素材,后期调时非常的方便,光照阴影方面软件是有选项可以从目标脸上学习补充
从网上下载视频提取的素材往往都是参差不一,那如何能把这些素材统一筛选出一套适合的、完整的素材基础库呢?

首先,会PS的人应该容易理解,在处理图片扭曲拉伸图片会有个界线,过了就会走样。假如这个界线为1,你素材有1和3角度或表情,那么就可以生成2的角度表情出来而看不出不同。但是你只有1和4,那么就难生出2和3的角度表情。
利用这个原理我用三维生成了一套素材基础库(已放附件里分享)已加入脸部标注,直接放aligned即用,不用再提脸
01.jpg
这个素材库带所有的极限角度,包含的角度及表情可以满足正常的脸形变换而不走样,那些浮夸的表情就免了,但是需要我也可以造个浮夸的表情库
这个三维素材基础库怎么用,往下看

看到评论有朋友遇到直方图无法输出的问题,补充下方法,为了方便也补充了视频素材·1、把【aligned】文件夹放到【data_dst】目录下【data_dst.mp4】放到【workspace】文件夹下
2、把data_dst.mp4转为图片
3、训练好后输出直方图
4、附件解压密码:dfldata.xyz

购买主题 已有 711 人购买  本主题需向作者支付 2 灵石 才能浏览
保姆级教学入门到精通,平时比较少来论坛,联系方式请移步贴:https://dfldata.cc/forum.php?mod=viewthread&tid=525&page=1&extra=#pid7094      【出售手中256、384、512三种规格的开荒松土模型,都是用2张A100 80GGPU服务器练制 23/04/13】
回复

使用道具 举报

203

主题

1951

帖子

56万

积分

管理员

Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96

积分
569175

隐世金马甲勋章超级版主勋章可爱萌新勋章见习版主勋章荣誉会员勋章男同管理员-无尚荣耀勋章优质版主勋章小有贡献勋章

发表于 2020-12-31 22:28:28 | 显示全部楼层
教你个更简便的做法,用DF结构的话,A当src,B当dst先训练一段时间,然后A和B对换,B当src,A当dst。
这样能把在B上学到的稀有角度迁移到A上去
提供数字人直播服务、文字/音频驱动数字人服务,有意者联系我QQ563861181
全站默认解压密码dfldata.xyz
DFL交流QQ群519316315
AI绘画交流QQ群710238550
我的B站账号:特看科技的滚石   其他自称彦祖的不是我,请勿上当
回复 支持 13 反对 1

使用道具 举报

203

主题

1951

帖子

56万

积分

管理员

Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96Rank: 96

积分
569175

隐世金马甲勋章超级版主勋章可爱萌新勋章见习版主勋章荣誉会员勋章男同管理员-无尚荣耀勋章优质版主勋章小有贡献勋章

发表于 2020-12-31 22:31:37 | 显示全部楼层
这个三维基础素材库不错,加精了
我也做过类似的实验,用的是平面图生成三维模型的技术,从正脸生成三维模型,然后摆放各种角度做提取。能补充大角度,但毕竟不是真实数据,会失真,侧脸做出来和真人有差异
提供数字人直播服务、文字/音频驱动数字人服务,有意者联系我QQ563861181
全站默认解压密码dfldata.xyz
DFL交流QQ群519316315
AI绘画交流QQ群710238550
我的B站账号:特看科技的滚石   其他自称彦祖的不是我,请勿上当
回复 支持 5 反对 0

使用道具 举报

3

主题

50

帖子

5286

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5286
发表于 2021-4-29 21:02:12 | 显示全部楼层
毫不夸张的说这才是高端教程啊
回复 支持 2 反对 0

使用道具 举报

0

主题

74

帖子

421

积分

初级丹师

Rank: 3Rank: 3

积分
421
发表于 2021-8-11 08:28:05 | 显示全部楼层

随风 大神的技术贴子一定要看。
回复 支持 1 反对 0

使用道具 举报

9

主题

657

帖子

3624

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3624
发表于 2021-8-5 12:51:25 | 显示全部楼层
随风大佬,理性化解说,太牛了
回复 支持 1 反对 0

使用道具 举报

1

主题

34

帖子

774

积分

高级丹师

Rank: 5Rank: 5

积分
774
发表于 2021-7-14 17:56:44 | 显示全部楼层
用了楼主的方法觉得不尽兴,因为脸型,眼睛大小什么的都不匹配,于是去找了这类教程
回复 支持 1 反对 0

使用道具 举报

7

主题

132

帖子

3850

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3850

万事如意节日勋章稀奇古怪节日勋章节日欢乐之星勋章

发表于 2021-1-6 15:04:46 | 显示全部楼层
liudehuatian 发表于 2021-1-6 14:55
好像不是,你看随风先进在文后用红字补充的方法,你说的底图应该不是用他的3D素材 ...

看了,但就仍然还搞不明白,所以才问的。
回复 支持 0 反对 1

使用道具 举报

1

主题

37

帖子

278

积分

初级丹师

Rank: 3Rank: 3

积分
278
发表于 2021-1-2 19:20:08 | 显示全部楼层
滚石 发表于 2020-12-31 22:28
教你个更简便的做法,用DF结构的话,A当src,B当dst先训练一段时间,然后A和B对换,B当src,A当dst。
这样 ...

先用版大的法试试再说。
回复 支持 1 反对 0

使用道具 举报

8

主题

116

帖子

3746

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3746
发表于 2020-12-31 22:29:00 | 显示全部楼层
看看学习下
回复 支持 0 反对 1

使用道具 举报

9

主题

127

帖子

866

积分

高级丹师

Rank: 5Rank: 5

积分
866
发表于 2020-12-31 18:23:09 | 显示全部楼层
学习一下
回复

使用道具 举报

0

主题

270

帖子

1971

积分

初级丹圣

Rank: 8Rank: 8

积分
1971

万事如意节日勋章

发表于 2020-12-31 19:10:34 | 显示全部楼层
很感兴趣啊
回复 支持 反对

使用道具 举报

0

主题

270

帖子

1971

积分

初级丹圣

Rank: 8Rank: 8

积分
1971

万事如意节日勋章

发表于 2020-12-31 19:17:53 | 显示全部楼层
以为8仙丹可以搞定,原来还要50,以后再说吧
回复 支持 反对

使用道具 举报

4

主题

63

帖子

2065

积分

初级丹圣

Rank: 8Rank: 8

积分
2065
发表于 2020-12-31 20:53:46 | 显示全部楼层
学习学习,学习楼主分享
回复 支持 反对

使用道具 举报

14

主题

92

帖子

4167

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4167
发表于 2020-12-31 21:45:30 | 显示全部楼层
看看                    
回复 支持 反对

使用道具 举报

14

主题

92

帖子

4167

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4167
发表于 2020-12-31 21:48:29 | 显示全部楼层

写 必须继续写              赞
回复 支持 反对

使用道具 举报

1

主题

111

帖子

611

积分

高级丹师

Rank: 5Rank: 5

积分
611
发表于 2020-12-31 22:24:47 | 显示全部楼层
随风 大神的技术贴子一定要看。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-5-11 12:50 , Processed in 0.149363 second(s), 16 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表