deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 272816|回复: 82

重磅!!DeepFaceLab软件开发作者对于各项参数的官方介绍!...

  [复制链接]

14

主题

120

帖子

2086

积分

初级丹圣

Rank: 8Rank: 8

积分
2086
发表于 2021-5-28 01:44:16 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:1  我的评分:未评
本帖最后由 jingxun123 于 2021-5-28 23:25 编辑

此介绍为国外论坛英文翻译,使用谷歌和有道/百度云/等多个翻译工具进行对比,选取了较为精准的结果。

此介绍为软件开发作者,相对更为精准和详细。

本文所有内容,建议配合滚石的精品教程一起食用


ps:重点备注

红色=超级重要内容

黄色=重要内容

【本文所有主观性的分析请老司机们着情食用,毕竟有些点也是探讨,不一定分析的正确。】


一、先列重要的参数:

训练参数1;Batch_size(?:help):

批处理大小设置会影响每次迭代中相互比较的面孔数。最低值为2,您可以提高到GPU允许的最大值,受GPU影响。您的模型分辨率,尺寸越高,启用的功能越多,将需要更多的VRAM,因此可能需要较小的批处理大小。建议不要使用低于4的值。批次大小越大,质量越好,但培训速度越慢(迭代时间越长)。对于初始阶段,可以将其设置为较低的值以加快初始训练的速度,然后将其升高最佳值在6到12之间。如何猜测要使用的批量大小?您可以使用试错法

分析;配置实在低的(6G以下),可以BS2跑,否则用BS4跑,前期用BS4跑,LOSS无法降低后,可以加到6-12之间是最佳值
-----------------------------------------------------------------------------------------------------------------
训练参数2;模型分辨率

在此处设置模型分辨率,请记住,在训练过程中不能更改此选项。它影响交换的面部的分辨率,模型的分辨率越高-学到的面部越详细,但训练的负担也将越来越长。可以通过以下方式将分辨率从64x64增加到640x640:
16(对于常规和-U体系结构变体)
32(对于-D和-UD体系结构变体)

更高的分辨率可能需要增加模型尺寸(尺寸)。

分析;如果你需要更详细的面部合成效果,请使用更高的模型分辨率
-----------------------------------------------------------------------------------------------------------------

训练参数3;AE体系结构

AE体系结构(df / liae / df-u / liae-u / df-d / liae-d / df-ud / liae-ud?:help):
通过 该选项,您可以在2种主要的学习体系结构之间进行选择:DF和LIAE作为以及它们的-U,-D和-UD变体。

DF: 此模型体系结构提供了更直接的人脸交换,不会使人脸变形,但要求源和目标/目标人脸/头部具有相似的形状,而人脸特征(嘴,眼,鼻子的形状)与LIAE的区别更大。在正面拍摄时效果更好,并且要求您的源数据集具有所有所需的角度,在侧面轮廓上产生的结果比LIAE差

LIAE: 当涉及源和目标/目标之间的面部/头部形状相似性时,此模型体系结构并不那么严格,但是源和目标/目标之间的面部特征(眼睛,鼻子,嘴巴的形状)应该相似,以取得良好的效果。该模型与源的相似度比DF更差,但可以更好地处理侧面轮廓,并且在源面/数据集缺少某些角度,表达式或光照条件时更宽容,通常会产生更精致的面部替换,并具有更好的颜色/照明匹配。

DF-U / LIAE-U: 此变体旨在提高源面部的相似度/相似度
DF-D / LIAE-D: 此变体旨在通过将可能的分辨率大致加倍来提高性能,而没有额外的计算成本(VRAM使用)和类似的性能。但是,它需要更长的训练时间,必须首先对模型进行预训练才能获得最佳结果,并且必须将值更改为32(相对于其他变体中的16)。

DF-UD / LIAE-UD: 结合了两个变体,以实现最大的相似度并提高分辨率/性能。还需要更长的训练和模型来进行预训练。



分析;DF-D,无论你显卡质量高低,你都可以享受更高的参数,能跑更高的模型分辨率,更高的BS,更高的gan参数。

同时可以跑到和DF-U和DF-UD和DF的效果。而不用苦于模型参数太高而显卡跑不了。

如果你显卡已经够优秀,那么-D的模型将让你显卡发挥DF-U发挥不了的优势,因为你还可以更高的参数来跑模型。

【当然,你会略微多花一点时间作为代价,但我认为,如果你旨在最终效果,-D模型将会是你的最佳优选,没有之一。】
对于显存低于6G显存的小伙伴,224那个模型,是你的最佳选择,没有之一。它会让你有最佳的完美体验感,没有之一。无论是质量还是速度。

-----------------------------------------------------------------------------------------------------------------
训练参数4;;神经网络维度

接下来的4个选项控制模型的神经网络维度会影响模型的学习能力,修改这些模型会对性能和质量产生重大影响

AutoEncoder变暗 (32-1024?:help): 自动编码器变暗设置,影响模型学习面孔整体能力
Encoder dims(16-256?:help):编码器暗淡 设置,影响模型学习面孔一般结构的能力
Decoder dims(16-256?:help): 解码器暗淡设置,影响模型学习精细细节能力
Decoder mask dims (16-256?:help): 遮罩解码器调暗设置,影响学习到的蒙版的质量可能会或可能不会影响培训的其他方面。


更改每个设置时的性能变化可能会对性能产生不同的影响,如果不进行大量测试,就无法衡量每个设置对性能和质量的影响。

每个参数均设置为某个默认值,该默认值应提供最佳结果,并在训练速度和质量之间取得良好的折衷。

同样,当更改一个参数时,也应更改其他参数以保持它们之间的相似关系,即应该将AE提升至320的方阵同时将E和D提升至72,并且可以将D Mask升高,但是它是可选的并且可以保留默认值或降低到16。在训练更高的模型分辨率时,最好总是将它们全部提高,因为一个人不仅可以提高分辨率,而且期望从中获得显着改善。

分析;
a1;AutoEncoder=影响模型学习面孔的整体能力,就是综合学习能力。

这玩意儿越高越好吗?似乎不尽然,反观市面上那么多高AutoEncoder参数的丹,你们真的感觉它能带来更好的效果吗?似乎没有很明显的效果吧。它或许是一个天花板,但多数丹和素材远远到不了这个天花板。就举例,100米的天空有一个苹果。你只能原地跳不能借助任何工具,你可能碰到那个苹果吗?它距离你太远了。你并不需要那么高,你或许只需要1米的高度就够了。

AutoEncoder同理,或许192-256之间,就已经可以满足目前192-640之间的所有模型,它或许并不需要高于256的参数。除非你能找出市面上有任何一款模型通过提升AutoEncoder有明显的效果。遗憾的是,目前你找不出任何一款模型提升AutoEncoder效果非常明显的。



a2;Encoder dims=学习面孔一般结构?既然是结构,结构会很复杂吗?轮廓,五官?这个参数判断似乎并没有想象中的那么重要(不确定)

a3;Decoder dims=学习精细细节的能力,这就非常重要了,整体学习能力固然重要,学习精细细节能力同样重要。经过谷歌跑了一个256wf-df-d 256 160 160 28 模型13万迭代后,我认为它和AutoEncoder是一个级别的存在。因为从0开始跑的模型,13万迭代各种角度,清晰度已经入门合格了。

a4;Decoder mask dims,作者认为它是可选的,你可以用默认值或者降低16。哪怕你提升分辨率,也可以保留默认或者16,虽然作者建议最好提升它,但我认为,对于它,16-28的遮罩数值,对于所有模型,足够,哪怕640的模型,28的数值,足够用,无需增加。

综合以上;我认为,

AutoEncoder=192-256之间所有模型分辨率都够用了
Encoder dims=64-256(我不确定学习面孔一般能力有多重要,但既然是一般,我认为不是很重要,但我没有充分的测试说明这一点,需要你自己判断和测试)
Decoder dims=64-256,我认为它应该越高越好,甚至可以略微牺牲AutoEncoder,因为市面已经有低AutoEncoder192却有高质量的效果的案例了,所以我认为可以将更多的可能给到这个学习精细细节的能力,如果你显卡还可以,建议直接怂256最高值,以及更大的分辨率。

-----------------------------------------------------------------------------------------------------------------


训练参数5;眼睛和嘴巴的优先级(y / n?:help):


尝试通过更高优先级的培训来解决眼睛和嘴巴(包括牙齿)的问题,也可以提高其清晰度/细节水平




分析;眼睛和嘴巴优先,可以提升清晰度和细节(别忘了,高分辨率模型可以提升更详细的面部效果,高分辨率是详细,而不是清晰,也别忘了, Decoder dims是学习精细细节能力的,所以

-----------------------------------------------------------------------------------------------------------------

训练参数6;;Uniform_yaw(y / n?:help):

帮助训练轮廓脸部,强制模型根据其偏航角在所有面孔上均匀训练,并确定轮廓脸部的优先级,可能会导致前脸训练速度变慢,在预训练期间默认启用,可以在启用RW的同时使用,以改善轮廓的泛化/侧面或禁用RW以改善这些面孔的质量和清晰度/细节时。当您的源数据集没有很多配置文件快照时很有用。可以帮助降低损耗值。默认值为n(禁用)。

分析;和眼睛嘴巴优先一样,它提升的是侧脸的清晰度和细节
-----------------------------------------------------------------------------------------------------------------



训练参数7;使用AdaBelief优化程序?(y / n?:help):

AdaBelief(AB)是一种新的模型优化,可以提高模型的准确性和训练好的人脸的质量,启用此选项后,它将替代默认的RMSProp优化器。但是,这些改进要以更高的VRAM使用为代价,要求以较低的批处理量训练现有模型或新模型,以防止OOM错误。
此选项应仅在新型号上使用,并且始终从一开始就使用,永远不要在训练过程中将其关闭,启用后应保持不变。使用AdaBelief时,LRD是可选的,但仍建议使用,并且应在运行GAN训练之前和期间启用(LRD)。默认值为Y。
分析;它是提升模型准确率的,以及人脸质量,既然是质量,尽可能开启,但你可以关闭(如果你显卡不行,想更高分辨率或者更高其他参数时),因为它并非必须。---------

-----------------------------------------------------------------------------------------------------------------
训练参数8;使用学习率下降(y / n / cpu?:help):  

LRD用于加速脸部训练并减少亚像素抖动(减少脸部抖动并在某种程度上也可以减少照明闪烁)。

主要用于3种情况:
-在停用RW之前,当损失值不再有太大改善时,这可以帮助模型对面孔进行更多的概括
-在禁用RW且您已经对模型进行了足够好的训练之后,在训练即将结束时启用该模型将导致更详细,更稳定的脸部,而不会出现闪烁
-如果您已经使用LRD进行了一些培训,并且脸部看起来就可以启用GAN了,那么在运行时应保持启用LRD。

此选项会影响VRAM的使用,因此,如果遇到OOM错误,则可以在CPU上运行它,但需要花费20%的迭代时间或降低批处理的大小。

如果您的模型启用了Adabelief,则LRD是可选的,但仍建议使用,特别是在训练GAN时。

-----------------------------------------------------------------------------------------------------------------

训练参数8;启用样本的随机扭曲(y / n?:help):

随机扭曲用于对模型进行泛化,以便在初始训练阶段可以正确学习面部特征和表情,但是只要启用该模型,该模型就可能无法学习精细的细节-因此,建议将此功能保持启用尽可能长的时间由于您的脸仍在改善(通过查看减少的损耗值和预览窗口中的脸在改善),并且一旦看上去都正确(并且损耗不再减少),则应禁用它以开始学习细节,从那时起您就不会请重新启用它,除非您通过对某些设置(样式效果,真实面孔等)应用较高的值破坏了结果,或者当您想将该模型用于相同来源的新目标视频的训练时,或者当您将其组合用于以下用途时,请重新启用它无论是新的SRC还是DST,您都始终在启用RW的情况下开始训练。默认值为y(启用)。

分析;随机扭曲核心功能是学习面部特征和表情,它无法学习精细的细节,如果你需要精细的面部细节,请禁用它。



---------
-----------------------------------------------------------------------------------------------------------------
训练参数9;GAN power(0.0 .. 10.0?:help):  

GAN代表Generative Adversarial Network,在DFL 2.0的情况下,它是作为获得更详细/更清晰面孔的另一种训练方式而实施的。此选项的调整范围是0.0到10.0,只有在模型或多或少经过充分训练后(在禁用样本的随机扭曲并启用LRD之后),才应启用该选项 。建议使用较低的值,例如0.01。在开始训练之前,请确保备份您的模型(以防您不喜欢结果,出现人工制品或模型崩溃)。启用后,将显示另外两个设置以调整GAN的内部参数:

分析;gan是提供更详细,更清晰的面部细节。但别忘了,如果要详细,分辨率不能太低,因为更详细的面部细节,只有高分辨率丹才能做到。gan能做到的是更清晰的面部细节,当你有高分辨率的模型时,它才可以提供更详细的面部细节。

训练参数10;[] GAN修补程序大小(3-640?:help):

以更高的VRAM使用为代价提高GAN培训的质量,默认值为分辨率的1/8。

分析;至今为止,没感觉有什么用,默认值似乎足以,我曾经将224的模型中的它开到了80的大小,结果对比半天,似乎没有提升(没有更多的测试,我不确定它)

[16] GAN尺寸(4-64?:help): GAN网络的尺寸。尺寸越大,要求的VRAM越多,但它也可以提高质量,即使在最低设置下也可以得到清晰的边缘,因此建议将默认值设置为16,但可以将其减小到12-14,以节省性能。如果你需要。

分析;没有更多的测试,我不确定它

训练参数11;“真人脸”功效。(0.0000 .. 1.0?:help):

使用可变功率设置进行真人脸训练,让您将模型鉴别器设置为更高或更低的值,这样做是为了尝试使最终人脸看起来更像src,与GAN一样 仅当禁用了随机扭曲并且模型受过良好训练后,才应启用此功能。在启用此功能之前,请考虑进行备份。切勿使用较高的值,典型值为0.01,但您甚至可以使用较低的值,例如0.001。设置越高,结果面将越像源数据集中的面,这可能会导致颜色匹配问题,并导致出现伪影,因此重要的是不要使用高值。它对性能的影响很小,可能会导致OOM错误发生。默认值为0.0(禁用)。


分析;

此参数乃神参数,可以见滚石的刘亦菲专丹和热巴专丹。经过多番测试,当你的dst脸型和src脸型不匹配时,你全程开启真脸,你会发现你的src合成时依旧很像(非常脸型差距非常非常大。)

。目前测试过,真脸可以全程开,但它可能会让脸部出现颜色问题,比如染色。这似乎没有解决办法,至少我目前不知道。(唯一不确定的是,它是否可以和gan一起开)


训练参数14;面部样式功效(0.0..100.0?:help)和 背景样式功效(0.0..100.0?:help):

此设置控制图像的面部或背景部分的样式转移,用于将目标/目标面孔(data_dst)的样式转移到最终学习的面孔,这样可以提高质量和合并后最终结果的外观,但是高值可能导致学习过的人脸看起来更像data_dst,而不是data_src。它将从DST传输一些颜色/照明信息到结果脸部,这可能有助于颜色匹配,并在颜色传输不足的情况下减少闪烁。建议不要使用大于10的值。从0.001-0.01之类的小值开始,然后增加该值;从1-2之类的较大值开始,并随时间减小它。此功能会影响性能,使用它会增加迭代时间,并且可能需要您减小批处理大小,  由于较高的VRAM使用率,请禁用gpu优化器或在CPU上运行LRD。在启用此功能之前,请考虑进行备份。默认值为0.0(禁用)。

分析;我直接禁用它,因为它会让合成效果不像src,这不是我想要的。


遮罩参数15: 有6种遮罩模式:

dst: 使用从data_dst面集/数据集提取期间生成的界标的形状派生的蒙版。
Learned-prd: 使用在培训中学到的口罩。保持SRC面的形状。
Learned-dst: 使用在培训中学习到的口罩。保持DST面的形状。
Learned-prd * dst: 合并两个掩码,两个掩码的尺寸都较小。
learning-prd + dst: 合并两个掩码,两个掩码的尺寸都更大。
XSeg-prd: 使用XSeg模型掩盖源面中的数据。
XSeg-dst: 使用XSeg模型掩盖目标面中的数据。
XSeg-prd * dst:合并 两个遮罩,两者的尺寸较小。
Learned-prd * dst * XSeg-dst * prd: 组合了所有4种遮罩模式,所有样式均较小。

训练参数16 启用渐变裁剪(y / n?:help):

实现此功能是为了防止使用DFL 2.0的各种功能时可能发生的所谓的模型崩溃/损坏。它对性能的影响很小,因此,如果您真的不想使用它,则必须启用自动备份,因为折叠后的模型无法恢复,必须进行刮除,并且必须从头开始进行培训。默认值为n(禁用),但是由于对性能的影响非常低,并且如果保持启用状态,可以防止模型崩溃而节省大量时间。使用Style Powers时最有可能发生模型崩溃,因此强烈建议您启用渐变裁剪或备份(也可以手动进行)。

分析;建议全程使用,因为它可以减少所有功能组合让模型崩溃的概率。也就是你可以更任性的随便开参数,而模型崩溃的几率没那么高了(但我认为你还需要做一手准备,把定时1-10小时自动备份模型功能打开)

训练参数17 颜色转移模式:

类似于训练期间的颜色转移,您可以使用此功能将学习到的脸部的肤色与原始帧更好地匹配,以实现更加无缝和逼真的脸部交换。有8种不同的模式:
RCT
LCT
MKL
MKL-M
IDT
IDT-M
SOT-M
MIX-M

分析;至今为止没有看到任何关于这些参数的介绍,我对他们一无所知,作者附带的文件看不懂。


最后;

强烈推荐滚石的万能专丹训练方法,实在是太好用。滚石能公布出来,实在是造福论坛,顺便推荐下滚石的刘亦菲专丹,神丹也,高效率,高质量,刘亦菲的丹,选它最佳,没有之一。


因为你可以训练一个属于你的万能丹,而它可以一直进化。如果你需要更换src,又可以很快成为一个新的专丹。


需求推荐相关


1、如果你是新手,那么建议你先用滚石的刘亦菲专丹,和热巴专丹,体验下换成功的喜悦感。这会增加你的兴趣。


2、如果你是老手,想要更优质的丹,但不想自己炼丹,建议看下我另外片关于部分丹测试的图,那里或许有你想要的。


3、如果你是老手,想要练更优质的丹,主要为了体验过程,同时如果有效果更好,那么,无论显存高低,都推荐你用-D的丹,因为当时间维度到达一个范围后,-D将会让你体验能跑高参数和高模型分辨率的快感。
[size=18.6667px]AutoEncoder我建议将它设置为192-256之间足以,Decoder dims越大越好,显存极可能往它上面怂,先满足它,然后再考虑模型分辨率,将剩余的性能全部给到模型分辨率。








评分

参与人数 2贡献 +2 收起 理由
mlgbsaa@gmail.c + 1 很给力!
wolf1688888 + 1 很给力!

查看全部评分

回复

使用道具 举报

2

主题

452

帖子

9924

积分

超级版主

Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64Rank: 64

积分
9924

超级版主勋章荣誉会员勋章优质版主勋章小有贡献勋章

QQ
发表于 2021-6-14 10:23:59 | 显示全部楼层
支持一下,不粗
杀生为护身,斩业非斩人
回复 支持 0 反对 1

使用道具 举报

0

主题

17

帖子

1440

积分

初级丹圣

Rank: 8Rank: 8

积分
1440
发表于 2021-5-28 02:16:33 | 显示全部楼层

回帖奖励 +1 灵石

新手收下了,之前太多設置沒搞懂
只好逐一嘗試
現在明白多了
回复 支持 反对

使用道具 举报

0

主题

66

帖子

1587

积分

初级丹圣

Rank: 8Rank: 8

积分
1587
发表于 2021-5-28 03:35:45 | 显示全部楼层
感谢分享
回复

使用道具 举报

50

主题

406

帖子

2585

积分

初级丹圣

Rank: 8Rank: 8

积分
2585

万事如意节日勋章

发表于 2021-5-28 08:01:13 | 显示全部楼层
强大好帖,感觉比坛主的教学帖说的还要细,来学习一下。
回复 支持 反对

使用道具 举报

7

主题

936

帖子

5070

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5070
发表于 2021-5-28 09:12:43 | 显示全部楼层
受用許多,真的太感謝了
回复 支持 反对

使用道具 举报

7

主题

194

帖子

6459

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6459

可爱萌新勋章荣誉会员勋章小有贡献勋章

发表于 2021-5-28 09:15:59 | 显示全部楼层
好帖,记笔记了
回复 支持 反对

使用道具 举报

25

主题

2095

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12085
发表于 2021-5-28 10:30:17 | 显示全部楼层
感谢分享
回复

使用道具 举报

1

主题

65

帖子

968

积分

高级丹师

Rank: 5Rank: 5

积分
968
发表于 2021-5-28 12:20:49 | 显示全部楼层
感谢分享
回复

使用道具 举报

0

主题

22

帖子

105

积分

高级丹童

Rank: 2

积分
105
发表于 2021-5-28 12:40:36 | 显示全部楼层
这个得收藏下
回复 支持 反对

使用道具 举报

0

主题

160

帖子

1200

积分

初级丹圣

Rank: 8Rank: 8

积分
1200
发表于 2021-5-28 18:35:17 | 显示全部楼层
认真学习,感谢分享
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-22 09:40 , Processed in 0.162915 second(s), 45 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表