deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 11762|回复: 57

关于万能丹,专丹,底丹,处女丹的说明

  [复制链接]

26

主题

333

帖子

2万

积分

高级丹圣

风擎

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27752
 楼主| 发表于 2023-6-1 23:23:35 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:2  我的评分:未评
本帖最后由 windjet 于 2023-6-27 21:48 编辑

这是一些关于万能丹(万能模型),专丹(专有模型),底丹(预训练模型),处女丹(官方预训练模型)的个人解释,原因是看到论坛里面好像有一些不同于以前的共识的说法,所以开了这个帖子来说明一下自己的看法,有不同想法的欢迎自由讨论。

对于万能模型即万能丹,首先要说明的是,官网或者中国以外的任何其它地方都不存在万能模型这种说法,官方只有预训练模型和普通模型(可理解为专模)的说法,虽然RTM模型的说法可能和万能模型有点类似,万能模型是出自于本论坛的叙述后,随后才在国内同行内流行起来的。
在本论坛,万能模型实际上指的是已经训练得比较成熟的专有模型,可以不需要训练就能较完美地直接合成对应各种场景,光影,角度的dst,换而言之就是不需要再训练下去了,已经是万能的了,直接合成输出用吧。坛主的迪丽热巴万能模型,杨颖万能模型都是这一类的,难道它们是预训练模型吗?显然不是,它们是明显的专有模型也就是专丹。
那么万能模型和专有模型的区别在那里呢,万能模型一定是专有模型,而专有模型却不一定能称得上万能模型,它们的区别不是不加训练能否直接合成视频的区别,而是合成效果好坏的区别。
任何一个模型都可以不用训练就能直接合成输出视频,你可以试一下把src删除,可以发现照样直接能够合成dst的视频,因为合成时DFL是利用保存在模型里面的映射来合成的,而不是利用src目录下的图片。

看到这里你应该明白了,所谓万能模型其实没有一个严格的定义,任何一个专有模型训练到一定程度都可以称为万能模型,能否贴切的话,这就完全在于丹主的良心了,本来严格来说,只有真正拥有src以及预训练集的全角度,全场景,全光影的训练,且第5列预览图无比清晰完全和src一样,损失无衰减,再训练下去没有意义的时候才能真正称得上万能模型,但其实这也是一个基本上无法达到的境界,所以大部分人(惭愧,包括我自己),都是把专模训练到只是自我感觉还行的时候就作为万能模型发布出来了,而这个所谓的万能模型到底和真正的万能模型能有多接近完全在于丹主的良心。

另外说一下,预训练模型的俗称是什么,顾名思义那就是底丹了,也就是以此为基础能够训练出其它专丹的基础丹。

再说一下官网的说法,或者说是官方钦定英文网站的说法,除了预训练模型(Trained Models)外,普通模型其实也有两种说法,这就是RTT模型(ReadyToTrain Models)和RTM模型(ReadyToMerge Models),从英文就可以看出来,RTT模型是指还要准备训练的模型,RTM模型是指可以准备合成的模型,从这个意义来说,RTM模型应该是最接近国内万能模型的说法了,所以,从某种程度上来说,把万能模型称为RTM模型也可以,虽然该网站的对于其区分主要是在意于提供模型的同时是否附带有src资源,有就是RTT模型,没有就是RTM模型,并没有强调RTM模型是已经不需要再训练了的所谓的万能模型。

还再谈一下官方的预训练模型和本论坛的预训练模型的区别,官方的标准预训练模型需要训练时打开预训练选项(pretrain: True),使用时再关闭预训练选项(pretrain: False),这时候迭代次数会从0开始,这样的好处是能够清楚地知道到底专人训练了多少迭代,也不容易被造假,所以俗称处女底丹或处女丹会更好区别,因为它一旦被开苞训练为专丹后就不建议再继续训练为其它专丹了,也无法复原为原来的预训练状态,每次新专人训练建议再重新从0开始,坏处是训练比较麻烦,它只认"\_internal\pretrain_faces"下面的faceset.pak文件,替换及增减训练资源很麻烦,而且初次正训使用即关闭预训练选项时,要有一个不大容易理解的再次拷贝npy文件的覆盖操作才能保持原有映射,所以如果是自练的处女丹在要关闭预训练选项前,注意一定要另外备份一次才能再次拷贝npy文件,否则原来训练的映射就会丢失了。

本论坛的大多数预训练模型其实不是官方的标准预训练模型,是在关闭预训练选项(pretrain: False)的情况下,rst目录和dst目录放混合训练资源来训练的,在训练资源相同的情况下,得到的映射应该和官方的标准预训练模型的映射差不多,所以效果应该也基本相同,但迭代不会归零,是在目前基础上往上增,好处是训练资源可以很方便的替换增减,训练方便,但坏处是无法知道正训的准确迭代次数而且容易被假冒,通常你无法知道拿到手的是一个只是单纯预训练过的底丹,还是一个实际上是专丹但号称底丹的假冒货,比如我把坛主的200万迭代的杨颖专丹改一个名字,然后号称是预训练底丹,通常你是不容易发觉的,因为它照样能快速成像,只是合成时会带有杨颖的影子且不容易消失,想想看也是这样,比如你用杨颖的这个专丹,放入刘亦菲的src,啪啪啪练了10万,哇,一看成像好快啊,赶紧合成试一下,但合成时是不看src资源的,而是看保存在模型里面的映射的,所以你觉得DFL会判断是使用你的10万训练的刘亦菲映射效果多来合成还是使用原来200万杨颖映射多来合成呢,答案是显而易见的,这也是不推荐专模复用的原因,因为要抵消以前的映射训练成本太高,通常看到好几百万甚至上千万的非官方模型就要注意了,因为它大概率是通过不断的专模复用得到的高迭代,要消除里面的残留专模映射影响,花费的额外的训练成本也许比你想像的要大很多,这通常要合成时才能看出来,而不是通过训练预览图就能快速发觉的,兴许你还在为训练中能快速成像而高兴呢,却不知苦的在后面。

要如何识别重命名的假冒预训练模型呢,官方的标准预训练模型,即处女丹还好说,一旦使用就归零,基本假冒不了,难的是非官方预训练模型的识别,虽然可以通过无法改变的模型结构及一些无法改变的固定参数如编码维度能来判断是否是以前发布过的某个专丹,但实际上运用起来不大现实,没人会记得那么多模型的参数的,而且参数也可能本来就是一样的也是可能的,最好的办法是发布者给发布的模型加Options标记来识别,这样的话通常使用DFL标准重命名操作及调节参数是无法改变Options标记的,但加Options标记的方法非常容易被非法利用,因为它能轻易地被心怀叵测的人用来做龌蹉的事。
加标记,减标记以及改标记的方法其实是同源的,论坛里有不少免费的丹但都带有广告标记,所以知道了这个方法就能移除这些广告标记,然后加上自己的标记盗卖这些原本免费的丹,还有利用改标记能做出大量的不是通过训练得来的假丹假参数,就像重新标记过的假内存条,假存储卡一样,并且还不易被发觉,这些都是不可原谅的!幸好懂技术的人一般都不会做这种事,盗卖的人通常都是不太懂技术的,因此我也呼吁版主一旦发现有求改Options标记及模型标记方法的帖子应尽快予以删帖及警告,同理,发布改Options标记及模型标记的方法也是不负责任的,这会造成假丹横行,盗卖猖狂,也应该即时予以删帖及警告。

最后一句话总结,万能丹和专丹都是普通专有模型,底丹和处女丹都是预训练模型。

(本人声明:因为经常有人问我是否愿意代练,我通常都转荐给坛主了,故也借此声明一下,本人不接任何代练,也不贩卖任何模型,纯粹是出于兴趣玩玩,希望不要再问我了,还有本人发布的个别模型加了不太引人注目的标记只是为了识别模型,绝对没有改变任何真实的模型参数。)


评分

参与人数 10贡献 +10 收起 理由
asd1342180911 + 1 十分给力!
redgg2 + 1 太好了感谢楼主
jinyuan37 + 1
WaveBedo + 1 终于知道是用预训练丹还是复用别人的专丹了.
89400209 + 1 太好了感谢楼主
lvzhu1986 + 1 太好了感谢
blackra1n + 1 太好了感谢
JohnTeddy + 1 <font data-immersive-translate-effect
wadse + 1 太棒啦!
q635809224 + 1 太好了感谢

查看全部评分

风擎,就是风之引擎。
回复

使用道具 举报

26

主题

333

帖子

2万

积分

高级丹圣

风擎

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27752
 楼主| 发表于 2023-6-3 01:00:29 | 显示全部楼层
dfllearner 发表于 2023-6-2 22:38
多谢解惑!
有个问题,关于这个“坏处是训练比较麻烦,它只认"\_internal\pretrain_faces"下面的faceset.pa ...

对的,pretrain为true时才会只认"\_internal\pretrain_faces"下面的faceset.pak文件,pretrain为false时data_src\aligned和data_dst\aligned都会认的,就是开始正式训练了。
风擎,就是风之引擎。
回复 支持 3 反对 0

使用道具 举报

4

主题

90

帖子

645

积分

高级丹师

Rank: 5Rank: 5

积分
645

开心娱乐节日勋章

发表于 2023-6-9 16:32:24 | 显示全部楼层
大概的意思能明白,就是操作上有没有详细的教程啊。。比如我下载了一个自称400W迭代的底丹,但我如果要用其他脸来复用的话,也是需要经过大量非常大量的训练对吗?
回复 支持 1 反对 0

使用道具 举报

0

主题

96

帖子

1242

积分

初级丹圣

Rank: 8Rank: 8

积分
1242
发表于 2023-6-2 09:25:28 | 显示全部楼层
感谢分享,学习了
回复 支持 1 反对 0

使用道具 举报

6

主题

57

帖子

6737

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6737
发表于 2023-6-2 08:05:26 | 显示全部楼层
感謝大老,學習進去了
回复 支持 1 反对 0

使用道具 举报

18

主题

169

帖子

3202

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3202

万事如意节日勋章

发表于 2023-6-2 07:53:48 | 显示全部楼层
感谢分享,学习了
回复 支持 反对

使用道具 举报

0

主题

106

帖子

3040

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3040

万事如意节日勋章

发表于 2023-6-2 08:55:32 | 显示全部楼层
明白!!
回复

使用道具 举报

0

主题

43

帖子

1310

积分

初级丹圣

Rank: 8Rank: 8

积分
1310
发表于 2023-6-2 09:45:42 | 显示全部楼层
感谢 刚接触几天  学习的太多了
回复 支持 反对

使用道具 举报

0

主题

7

帖子

66

积分

高级丹童

Rank: 2

积分
66
发表于 2023-6-2 11:12:01 | 显示全部楼层
跟着大佬学习
回复 支持 反对

使用道具 举报

0

主题

2

帖子

40

积分

初级丹童

Rank: 1

积分
40
发表于 2023-6-2 11:22:25 | 显示全部楼层
第一次看懂了,赞
回复 支持 反对

使用道具 举报

0

主题

52

帖子

1650

积分

初级丹圣

Rank: 8Rank: 8

积分
1650

万事如意节日勋章

发表于 2023-6-2 11:34:36 | 显示全部楼层
讲的很清楚,谢谢
回复 支持 反对

使用道具 举报

1

主题

37

帖子

2278

积分

初级丹圣

Rank: 8Rank: 8

积分
2278

开心娱乐节日勋章

发表于 2023-6-2 15:21:11 | 显示全部楼层
一直有困惑,现在看明白了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-21 20:04 , Processed in 0.168560 second(s), 52 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表