deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2668|回复: 28

换脸节省时间心得,欢迎大佬补充纠正

[复制链接]

8

主题

94

帖子

1008

积分

初级丹圣

Rank: 8Rank: 8

积分
1008
 楼主| 发表于 2023-10-3 14:02:35 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 heiansl 于 2023-10-4 16:10 编辑

以下都是平时的观察所得,原理不知道,有懂哥的话帮帮忙补充纠正一下。

1. 我发现不管原视频什么分辨率,切1024永远是最好的,真的有明显的区别,ai增强原图后切1024是最好的,训练效果比直接切512有肉眼可见的区别。
   
ps: 不要听谁说最终训练时都会压缩成512,啥也不是。训练时压缩和你直接切512是不一样的,算法都不是一回事。


from seancai110:

DFL切脸和resize的时候,用的是lanczos算法。这个算法放大效果很好,但是缩小效果非常差。所以如果原图脸比较大,切脸图比较小,就会丢失很多细节。

但是,在训练的时候,对切脸图用的是cubic算法来缩放,cubic放大和缩小效果比较均衡。

所以,最简单的就是直接替换代码,把DFL里所有lanczos算法换成cubic就行了。


2. 开扭曲时不能同时开真脸,否则合成效果图也会扭曲。得按步骤开,这里没法节省时间。

3. 开gan之后,对牙齿的训练效果接近于无,关掉gan在训练牙齿马上就有效果。(ps:怀疑gan会锁定模型,只会训练gan多出来的那几个神经元)

4. 真脸会把头发丝弄出来,而且会有些角度无论如何都有些模糊(可能是src不够)。所以要么不开真脸,要么dst找有刘海的。

ps: 真脸貌似试图将合成的脸型强行转成src的脸型,开久了就会与dst脸型对不上,并且脸部颜色也会无法贴近dst,所以除非素材足够nb,否则开真脸很麻烦,容易崩。

5. gan效果不一定会有明显的提升,在素材足够清晰的情况下(1024),不开gan在中景(近景不行,还是得gan)也已经非常清晰。

6. 扭曲是为了适应dst的脸型,如果底单够好,真的不用无脑一直开,肉眼看到合并列差不多轮廓可以了就可以关了。

7. 嘴角可以一直开,除了开侧脸时,没有任何步骤需要关。

8. 随机翻转直接开,除非你的src足够nb。

总结:
模型准备阶段,论坛上找一些神丹直接拿来用,可以看 热门或精华 的模型贴
素材准备阶段,直接1024;
训练阶段,
     翻转, 眼嘴,扭曲
-> 翻转,扭曲,侧脸 (看需求,可跳过该步骤节省时间)
-> 翻转,  眼嘴
-> 翻转,  眼嘴, 真脸 (看需求,可跳过该步骤节省时间)
-> 翻转,  眼嘴,gan (看需求,可跳过该步骤节省时间)
合成阶段,万能遮罩选 src-dst,调一调 w、e、t(看需求,不开省时间)。

最终可以最快出一个看得过去的成品。

欢迎补充和修正。







回复

使用道具 举报

13

主题

994

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
11934
发表于 2023-10-3 20:11:56 | 显示全部楼层
igokm 发表于 2023-10-3 19:14
切脸用的S3FD,压缩用的不是?

你说的是切脸算法,实际上问题出在缩放算法。

DFL切脸和resize的时候,用的是lanczos算法。这个算法放大效果很好,但是缩小效果非常差。所以如果原图脸比较大,切脸图比较小,就会丢失很多细节。

但是,在训练的时候,对切脸图用的是cubic算法来缩放,cubic放大和缩小效果比较均衡。

所以,最简单的就是直接替换代码,把DFL里所有lanczos算法换成cubic就行了。
回复 支持 1 反对 0

使用道具 举报

8

主题

94

帖子

1008

积分

初级丹圣

Rank: 8Rank: 8

积分
1008
 楼主| 发表于 2023-10-3 16:12:38 | 显示全部楼层
本帖最后由 heiansl 于 2023-10-3 16:13 编辑
DFLive 发表于 2023-10-3 15:59
切1024并不会比512效率低多少,且应用于224分辨率效果也不错,所以我看不懂第3点的迷惑操作。 ...

我也看不懂,所以当没看到
回复 支持 1 反对 0

使用道具 举报

7

主题

125

帖子

2178

积分

初级丹圣

Rank: 8Rank: 8

积分
2178
发表于 2023-10-3 15:11:27 | 显示全部楼层
你好,想请问几个问题:
1  原视频是普通的1080蓝光电影的话,比列是人物半身为主,也是切1024的脸吗?  
2  如果是比较小参数的丹,比如224,256,320 这些丹,也是使用1024分辨率的切脸吗?还是高参丹用1024比较好使?
3 如果切了512脸后,不增强而直接放大到1024,再去训练效果会不会比512训练好?
回复 支持 反对

使用道具 举报

8

主题

94

帖子

1008

积分

初级丹圣

Rank: 8Rank: 8

积分
1008
 楼主| 发表于 2023-10-3 15:47:19 | 显示全部楼层
本帖最后由 heiansl 于 2023-10-3 15:51 编辑
H8juvbv 发表于 2023-10-3 15:11
你好,想请问几个问题:
1  原视频是普通的1080蓝光电影的话,比列是人物半身为主,也是切1024的脸吗?  
2 ...

src无脑1024,dst最低512,不想污染模型dst也得1024。不管原素材怎么样,1024永远是这素材的极限,最好切图后增强了再切1024脸。不要听谁说最终训练时都会压缩成512,啥也不是。训练时压缩和你直接切512是不一样的,算法都不是一回事。
回复 支持 反对

使用道具 举报

16

主题

399

帖子

3859

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3859

万事如意节日勋章

发表于 2023-10-3 15:59:48 | 显示全部楼层
H8juvbv 发表于 2023-10-3 15:11
你好,想请问几个问题:
1  原视频是普通的1080蓝光电影的话,比列是人物半身为主,也是切1024的脸吗?  
2 ...

切1024并不会比512效率低多少,且应用于224分辨率效果也不错,所以我看不懂第3点的迷惑操作。
回复 支持 反对

使用道具 举报

7

主题

125

帖子

2178

积分

初级丹圣

Rank: 8Rank: 8

积分
2178
发表于 2023-10-3 17:46:12 | 显示全部楼层
DFLive 发表于 2023-10-3 15:59
切1024并不会比512效率低多少,且应用于224分辨率效果也不错,所以我看不懂第3点的迷惑操作。 ...

因为之前已经切了几万张512的DST,花大量时间手工筛选出了万张图,如果重切1024,还得重新筛选一遍。这个不说。
我想问的点在于:一部1080p的电影。上半身为主的电影,就是人脸特写不多的。那人头的大小,一般不会超过512*512,你切成1024,那么切的时候,就已经将人脸放大了倍数。   和我问的切成512之后,再用软件放大成1024,这两种方式有区别吗?   
回复 支持 反对

使用道具 举报

0

主题

11

帖子

273

积分

禁止访问

积分
273

开心娱乐节日勋章

发表于 2023-10-3 19:14:37 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

8

主题

94

帖子

1008

积分

初级丹圣

Rank: 8Rank: 8

积分
1008
 楼主| 发表于 2023-10-3 20:26:40 | 显示全部楼层
seancai110 发表于 2023-10-3 20:11
你说的是切脸算法,实际上问题出在缩放算法。

DFL切脸和resize的时候,用的是lanczos算法。这个算法放大 ...

够专业,抄了
回复 支持 反对

使用道具 举报

7

主题

125

帖子

2178

积分

初级丹圣

Rank: 8Rank: 8

积分
2178
发表于 2023-10-3 20:50:26 | 显示全部楼层
seancai110 发表于 2023-10-3 20:11
你说的是切脸算法,实际上问题出在缩放算法。

DFL切脸和resize的时候,用的是lanczos算法。这个算法放大 ...

所以老哥你的建议就是把应该把DFL里所有lanczos算法换成cubic。之后,
然后如果原视频的半身为主,人头大小是512以内的,就还是切512。   
如果是4k的,或者人脸特写多的,不少人头尺寸是大于512的话,就可以切1024?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-24 04:15 , Processed in 0.110910 second(s), 12 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表