大佬请进：看论坛帖子整理的炼丹步骤

w7315511

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:5  参与人数:1  我的评分:未评

5K冰冰贴脸镇楼

①；小BS4-8开扭曲loss降低至0.3、反弹或者更低。保持正脸小角度清晰
②；打开眼嘴优先，加大BS至16或者更高loss降低至0.3、反弹或者更低。保持眼部嘴巴清晰
③；关闭眼嘴优先，打开侧脸大角度，均匀样本，loss降低至0.3、反弹或者更低。保持眼嘴侧脸清晰
④；打开LRD（学习率下降）loss降低至0.2或0.1反弹或者更低。整体角度，肤色，纹理，清晰。
⑤；关闭随机扭曲，大角度均匀样本...开GAN或者不GAN0.1-0.0001满意为止
⑥；开GAN期间先出噪点，然后出眼部面部细节（GAN1.5W迭代之前没有效果）

5K冰冰贴脸镇楼

⑦；注意事项
1.换SRC删AB开扭曲，换DST删B，SRC训练单一DST关扭曲，什么都不用删除。
2.开GAN要关闭随机扭曲，打开学习率下降
3.AdaBelief（AB）优化器开了之后不能关闭！
4.LRD学习率下降的作用是关扭曲之后训练出更多的细节
5.LRD应该在开GAN期间保持开启
6.随机扭曲关闭之后要打开LRD学习率学习更多细节
7.模型参数低AE低素材质量不高开GAN也没什么用
8.真脸和GAN的用法一样
9.梯度裁剪建议全程开启，任性除外

5K冰冰贴脸镇楼

还有一些其他参数没有写上去的，有没有人补充一下。
或者上述步骤有无错误之处，还请各位大哥指点一下~

w7315511

二楼再转载一下某位大佬的详细炼丹步骤，不知有无不妥之处

参数开关		第一阶段	第二阶段	第三阶段	第四阶段	第五阶段	第六阶段	第七阶段	第八阶段	完成阶段
SRC随机反转:Flip SRC faces randonly (不太建议使用)		关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭
DST随机反转:Flip Dst focey randomly (素材较少时建   常开)		开启	开启	开启	开启	开启	开启	开启	开启	开启
批量大小:Batchszdoo(如模型崩溃，请尝试降低此参数至正常运行）		4/8	8/16	8/16	8/16	8/16	8/16	8/16	推荐16	8/16
训练遑罩:Masked calning (建议全程开启)		开启	开启	开启	开启	开启	开启	开启	开启	开启
眼嘴优先:Eyesand mouth priority		关闭	开启	关闭	关闭	关闭	开启	关闭	关闭	开启
侧脸优化:Uniform yaw distribution of samples		关闭	关闭	开启	开启	关闭	关闭	开启	关闭	开启
迪媢边掾模糊:Blur out mask (建议中后期开启)		关闭	关闭	关闭	关闭	开启	开启	开启	关闭	开启
模型和优化器放GPU上: Place models and optimizer on GPU		开启	开启	开启	开启	开启	开启	开启	开启	开启
信仰优化器:Use AdaBeliefoptimizer (建议全程开启)		开启	开启	开启	开启	开启	开启	开启	开启	开启
学习率下降:Use learning rate dropout		关闭	关闭	关闭	开启	关闭	关闭	关闭	开启	关闭
随机扭曲:Enable random warp of samples		开启	开启	开启	开启	关闭	关闭	关闭	关闭	关闭
随机色调/饱和度/光强度		关闭	关闭	关闭	关闭	0.01	0.01	0.01	关闭	关闭
Gan强度:GAN power(容易崩溃，抛出想要效果后及时关闭）		关闭	关闭	关闭	关闭	关闭	关闭	关闭	0.01	关闭
真睑强度: True face' power		关闭	关闭	关闭	关闭	0.01	0.01	0.01	关闭	关闭
背景强度:Background style powe		关闭	关闭	关闭	关闭	0.01	0.01	0.01	关闭	0.01
颜色转换模式:Color trevsier oroaceset		none	none	none	none	rct/lct	rct/lct	rct/lct	rct/lct	rct/lct
梯度剪裁:Enable gt zoeulipping		开启	开启	开启	开启	开启	开启	开启	开启	开启
预训练(不是跑万能底就无需开启)		关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭	关闭
阶段转换条件，主要看预压窗口效果建议每次调整参数前都先备份好模型文件		loss<0.3或	loss极慢或不降反升	loss<0.3或 不降反升	loss<0.1或 不降反升	loss极慢或 不降反升	loss极慢或 不降反升	loss极慢或不降反升	注意备份 至少2-3W
		不降反升

之前发的太过于简单化，不过于注重效果可以按照之前发的贴子来训练，本想删除之前发的贴子，结果找不到删除在哪-.-
精细步骤如下
DF模型：首先准备好预习练好的模型，或成品模型，和质量很好的SRC人脸集和随机DST人脸集（多人，人脸全扔进dst里边即可，只能拿来训练，若要合成请训练完成后，删除掉多余人脸只留下单人）。所有成品模型训练的原SRC不是自己所用的SRC，liae模型均删除xx_SAEHD_inter_AB.npy文件当作预训练模型处理。xx_SAEHD_inter_AB.npy前面的xx是你自己的模型名字。除去真脸选项均可按照下方来练
第一快速成型阶段：
开启：遮罩训练:Masked training  ,
开启或关闭：SRC随机反转:Flip SRC faces randomly，(SRC素材不足的开，足够的和有脸部特征，比如美人痣之类的不要开SRC反转。)
开启：DST随即反转：Flip DST faces randomly，
BS值：推荐4或8（根据实际情况而定）
关闭：眼嘴优先:Eyes and mouth priority
关闭：侧脸优化 Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
关闭：学习率下降 Use learning rate dropout
开启：样本随机扭曲：Enable random warp of samples，
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度 True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
loss值达到0.4-0.5或者有时间和条件的可以训练的更低至0.1，并模型自动保存3-4次时的loss值显示下降速度很慢，或者反弹时可以停止。

第二精确处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
开启：眼嘴优先:Eyes and mouth priority
关闭：侧脸优化 Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
关闭：学习率下降 Use learning rate dropout
开启：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度 True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
保持参数训练loss值降的很少，或反弹停止。

第三精确处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyes and mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?关闭：学习率下降 Use learning rate dropout.
开启：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度 True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
训练loss值降到0.3及以下，或降的很少或反弹，停止。

第四精确处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyes and mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
开启：学习率下降 Use learning rate dropout
开启：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度 True face' power   选择值：0
关闭：背景风格强度 Background style power  选择值：0
关闭：颜色转换模式 Color transfer for src faceset  选择值：none
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
训练loss值降到0.1及以下，或降的很少或反弹，停止。

第五精确优化阶段：
这时loss值已经下降很慢，或者下降不下去并且看起来不足够像SRC，进行这一步
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyes and mouth priority
关闭：侧脸优化 Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
关闭：学习率下降 Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可） 推荐0.01
关闭：GAN强度 GAN power  选择值：0
开启：真脸强度 True face' power   推荐值：0.01
开启：背景风格强度 Background style power 推荐值：0.01
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
（此阶段开启：模糊遮罩边缘Blur out mask和背景风格强度 Background style power是因为开启了：真脸强度 True face' power，如果RSC脸型没有DST脸大，就会出现SRC脸下巴，下面又有个DST的下巴，或者SRC侧脸边上又有个DST的侧脸。开启这两个参数，会让融合的更好。）
此阶段loss值下降过慢或下不去后停止

第六精确优化阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
开启：眼嘴优先:Eyes and mouth priority
关闭：侧脸优化 Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
关闭：学习率下降 Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可） 推荐0.01
关闭：GAN强度 GAN power  选择值：0
开启：真脸强度 True face' power   推荐值：0.01
开启：背景风格强度 Background style power 推荐值：0.01
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
此阶段loss值下降过慢或下不去后停止

第七精确优化阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
关闭：眼嘴优先:Eyes and mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
关闭：学习率下降 Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可） 推荐0.01
关闭：GAN强度 GAN power  选择值：0
开启：真脸强度 True face' power   推荐值：0.01
开启：背景风格强度 Background style power 推荐值：0.01
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
此阶段loss值下降过慢或下不去后停止

第八精细处理阶段：
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐16（根据实际情况而定）
关闭：眼嘴优先:Eyes and mouth priority
关闭：侧脸优化 Uniform yaw distribution of samples
关闭：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
开启：学习率下降 Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
关闭：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可） 选择值：0
开启：GAN强度 GAN power  推荐值：0.01
关闭：真脸强度 True face' power   选择值：0
关闭：背景风格强度 Background style power 选择值：0
开启：颜色转换模式 Color transfer for src faceset 推荐值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练
此阶段注意备份，以免崩溃。代送次数最少2W-3W，根据实际情况而定。

完成阶段：
所有阶段完成后平时换视频使用以下参数
开启：遮罩训练:Masked training  
开启或关闭：SRC随机反转:Flip SRC faces randomly，SRC有脸部特征，比如美人痣之类的不要开SRC反转。
开启：DST随即反转：Flip DST faces randomly
BS值：推荐8或16（根据实际情况而定）
开启：眼嘴优先:Eyes and mouth priority
开启：侧脸优化 Uniform yaw distribution of samples
开启：模糊遮罩边缘Blur out mask
开启：模型和优化器运行在GPU上：Place models and optimizer on GPU
开启：启用 AdaBelief 优化器?：Use AdaBelief optimizer?
关闭：学习率下降 Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples
开启：随机色调/饱和度/光强度（这段没英文,不知道英文名称按照本人的开启顺序即可）选择值：0.01
关闭：GAN强度 GAN power  选择值：0
关闭：真脸强度 True face' power   选择值：0
开启：背景风格强度 Background style power  选择值：0.01
开启：颜色转换模式 Color transfer for src faceset  选择值：rct或lct
开启：梯度剪裁：Enable gradient clipping
关闭：启用预训练

DFL小白02

这里附一个原作者更新的训练步骤，楼主的训练步骤应该是挺早的一个教程贴，我也看过那个，但里面眼嘴这块开了最好不要再关，像坛内大佬说的一样，眼嘴很大一部分作用就是用来定位，开了再去关等于定好位又打乱了

bg2kcg

必须先收藏啊，能分享模型吗？

刘忠贤

DFL小白02 发表于 2024-5-26 08:49
这里附一个原作者更新的训练步骤，楼主的训练步骤应该是挺早的一个教程贴，我也看过那个，但里面眼嘴这块 ...

有点道理，眼嘴不关这个说法，是出本坛哪里

pasanonic

最好的办法是  
先用刀哥补角度图 把 dst 和  src 都打开 ,按dst的范围提取src对应的范围 ,拿出来当正训的src
这样可以少src无关的图,训练提升效率(dst外围的图在里面没什么意义)

正训 bs4 开扭曲到跑出轮廓,无需清晰
再开 bs8  扭曲 嘴眼 侧脸 一直跑 ,跑到你觉的图5可以了,关扭曲再跑一段时间
就备份一份模型开GAN

如果是320以上高参建议以上所有步骤全程开梯度,要不然很容易溢出报废

zewg233

src可以分享下吗

come3002

SRC的角度图越全越好。
另外SRC和DST。先核对一次信息位点。

像红圈内这种的图像，会对model有影响

mzh920

收藏同问，这素材不错，能分享专模吗

xxyy939

收藏 学习了、