deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 4602|回复: 30

万能炼丹方法,完美解决SRC角度不全及色差问题!

[复制链接]

5

主题

59

帖子

836

积分

高级丹师

Rank: 5Rank: 5

积分
836
 楼主| 发表于 2023-4-8 15:41:52 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:2  我的评分:未评
首先,这是自己摸索了一两年才发现的简单的方法,但自己摸索就会走弯路,毕竟大佬不会直接告诉你,或者说大佬觉着这太简单了反而忘了告诉你!


其实这个方法,滚石大佬说过,但很多新人朋友无法理解或没有好好用到,包括我。

这个方法几乎适合所有模型训练时所用。

虽然方法好,但不打算收灵石,各位新手朋友共勉。

当然也可以一起交流,互换资源啥的,团结力量大嘛毕竟。

方法如下:

首先,你需要一个万能底丹,最好不要用别人的,因为你无法保证和确定对方使用的素材是个啥样!
要求质量不高的朋友忽略这条。

其次,你需要准备尽可能多的素材,质量尽可能的高,分辨率至少是你模型分辨率的一倍,哪怕是256的丹,保底512分辨率,至少看得清汗毛或毛孔,当然这不是必须,这和模型质量有关,也就是你的要求和目标。

第三,用这些尽可能多的素材,反复训练模型,DST和SRC放同样的素材就好,先对练,保证所有表情、口型、眼神等都能训练出来,这样后面无论换DST素材还是SRC素材,你的模型都能够在很短的时间内出细节!
PS:可以循序渐进分组对练、素材不同对练,也可以一次性训练五位数或六位数素材,这取决于个人,但至少半个月的训练周期,最好一个月以上,BS16以上,伙伴们可以去腾讯云薅,这不是广告,我就这么玩的,之前99块一个月的P40,现在45块半个月的T4,都可以满足我们练底丹,256模型素材10W张以内的话,一个月差不多了,剩下的自己电脑BS8再跑一会或者再加半个月的云GPU训练。

到这里你也发现了,模型好不好用,取决于底丹的素材够不够丰富,包括多表情、光影、角度、眼神口型等!


所以,底丹真的非常重要,不要直接拿来素材提头就练然后直接换,这是对结果很不负责任的方法!

上面都是最简单最基础的,下面说一下自己的一些经验:

1.只要你素材质量够好,你的模型可以无限反复训练,但不要一直用重复的素材,否则绝对会过拟合,很多专丹练出来之后,合成的时候光影不对或表情死板,就是这个原因,所以练专丹之前先练底丹!
2.假设你标准参数,BS16,每次炼丹素材1W张左右即可,前期4-6天换一次素材,后期3-5天换一次素材,直接全部一起训练也容易过拟合,除非挂机训练的过程中你在不断整理新素材。
就像喝醉后需要再喝一点透一下一个道理,当然,你拿七年之痒比喻也可以,长时间不换对象【素材】,就会变得死板没有新意没有激情。
3.如果你的SRC中是不同的脸,当然我不是指练底丹的情况下,是指你在进行换脸前的训练中,这个时候,模型会给出一张全新的脸出来,所以如果有想法,可以用自己喜欢的各种脸来合成一个不存在的新脸当做专丹使用,比如我就是用AI绘画合成了N张,然后提取进行训练,当然脸型啊风格啊尽可能相差不大,这样最好。
4.新人,不要太在意参数,高参不适合我们,大模型不适合我们,除非你有12G/16G/24G以上的卡和足够的时间精力去折腾,业余爱好没必要!有些时候Q96也挺好,毕竟高清源视频【DST】也不大好找。
5.遮罩的重要程度,不亚于素材的质量高低,目前爱罩共建出的512遮罩特别好,但我还没得到,但不重要,对于新人的我们来讲,256遮罩够用了,但,用法也有技巧:
    第一,遮罩可以无限复用。
    第二,遮罩可以无限升级。
    第三,遮罩可以手动合并。
    所以在你训练遮罩模型的时候,可以用不同遮罩写入后的素材来训练新的遮罩或升级某个遮罩,前提是写入的素材偏差不大,尽可能完美就好,比如用X版遮罩写入的素材加上正常班的,一起训练心遮罩,这样下来你的遮罩堪比万能,但尽可能用专罩,否则可能      出现某些妆容被识别为液体而去除....
6.2D动漫脸没试过,但3D完全没问题,可以练!
7.合成脸一样可以当做素材,但你要准备足够多的角度和光影,特别是表情要丰富,否则练出来极大可能死鱼脸。
8.大佬炼丹的素材不是我们可以想象,BS大的也不是我们可以想象,咱都是8/16/24/32,大佬们都是三位数打底的.....
9.BS我们上不去的情况下,也就是硬件跟不上的情况下,那就做好长期作战准备,以时间换结果,准备好所有之后挂机就行,前期素材可用不多,但质量一定要好,后面可以不断补充或替换,心急要不得!
10.别人的丹我用过,结果都不是很理想,对比之后发现还是自己练的用的舒服,可能不同人有不同的感受,因为素材差异太大,目标质量也不同,同样的256有人练出来还不如128清晰,就是这个道理。
11.如果你的模型分辨率不是Q96,推荐用教授的ICE训练。
12.模型没成型之前,扭曲别关,个人经验仅供参考:BS16、素材8W张、200W迭代以内别关没错,当然这个8W张是基础,不计算后面替换和增加的,具体看你模型收敛程度,素材少的话很快就成型,但泛用性不高。
13.你需要足够的耐心。
14.善用工具,各种批处理工具,增强工具,视频剪辑工具,图片编辑工具等。
15.善用搜索引擎。

评分

参与人数 7贡献 +7 收起 理由
大长卿 + 1 十分给力!
fengaya + 1 很给力!
a405856477 + 1 很给力!
静海之歌 + 1
GHnewbie2022 + 1 赞一个!
come3002 + 1 赞一个!
lknet + 1 赞同

查看全部评分

回复

使用道具 举报

0

主题

19

帖子

263

积分

初级丹师

Rank: 3Rank: 3

积分
263
发表于 2023-4-8 15:59:53 | 显示全部楼层
2.假设你标准参数,BS16,每次炼丹素材1W张左右即可,前期4-6天换一次素材,后期3-5天换一次素材,直接全部一起训练也容易过拟合,除非挂机训练的过程中你在不断整理新素材。

请教下,比如我准备了5w的素材,可以分成5组循环着用么
回复 支持 反对

使用道具 举报

14

主题

141

帖子

2724

积分

初级丹圣

Rank: 8Rank: 8

积分
2724

万事如意节日勋章

发表于 2023-4-8 16:44:14 | 显示全部楼层
感谢分享,我也是最近自己突然领悟怎么打包不同素材
回复 支持 反对

使用道具 举报

13

主题

158

帖子

1180

积分

初级丹圣

Rank: 8Rank: 8

积分
1180
发表于 2023-4-8 16:55:26 | 显示全部楼层
我懒,用论坛那个20万的人头素材,扔那里,100万次后的确感觉不错。就是以后还要塞点死亡角度的进去。
回复 支持 反对

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-4-8 19:25:26 | 显示全部楼层
9.BS我们上不去的情况下,也就是硬件跟不上的情况下,那就做好长期作战准备,以时间换结果,准备好所有之后挂机就行,前期素材可用不多,但质量一定要好,后面可以不断补充或替换,心急要不得!
==================================
这条太对了。我现在做自己喜欢的女明星的src。要么是从论坛找最最清晰的做主体。要么就自己切4k 电视剧,截取WF1024-2048的一套全妆容 喜怒哀乐都有的素材做主体。宁缺毋滥,慢慢凑角度。
回复 支持 反对

使用道具 举报

5

主题

59

帖子

836

积分

高级丹师

Rank: 5Rank: 5

积分
836
 楼主| 发表于 2023-4-8 21:26:40 | 显示全部楼层
fino9999 发表于 2023-4-8 15:59
2.假设你标准参数,BS16,每次炼丹素材1W张左右即可,前期4-6天换一次素材,后期3-5天换一次素材,直接全部 ...

不仅可以循环,还可以互相对练,200W以内问题不大,迭代再多的话需要增加素材,这些数量迭代最好不要太高,BS16的话一百万左右就要考虑加素材了
回复 支持 反对

使用道具 举报

5

主题

59

帖子

836

积分

高级丹师

Rank: 5Rank: 5

积分
836
 楼主| 发表于 2023-4-8 21:28:13 | 显示全部楼层
Woaiqipao 发表于 2023-4-8 16:55
我懒,用论坛那个20万的人头素材,扔那里,100万次后的确感觉不错。就是以后还要塞点死亡角度的进去。 ...

死亡角度无需刻意练习,底丹练好之后,你想换了,那DST肯定准备好了,用底丹对练DST/DST一段时间,然后再放入你的src就行

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1

查看全部评分

回复 支持 反对

使用道具 举报

5

主题

59

帖子

836

积分

高级丹师

Rank: 5Rank: 5

积分
836
 楼主| 发表于 2023-4-8 21:31:42 | 显示全部楼层
Des8302 发表于 2023-4-8 16:44
感谢分享,我也是最近自己突然领悟怎么打包不同素材

打包最大的好处是载入快!打包前记得写入遮罩
回复 支持 反对

使用道具 举报

0

主题

18

帖子

405

积分

初级丹师

Rank: 3Rank: 3

积分
405
发表于 2023-4-8 22:04:06 | 显示全部楼层
找角度表情齐全的src素材,闭着眼都练好。没好素材,都是徒劳,
回复 支持 反对

使用道具 举报

9

主题

103

帖子

2451

积分

初级丹圣

Rank: 8Rank: 8

积分
2451
发表于 2023-4-9 10:17:18 | 显示全部楼层
不是,你打这么多字我还认真地看完了,所以你要怎么完美解决色差问题?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-24 22:07 , Processed in 0.152408 second(s), 45 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表