|
|
发表于 2023-10-27 22:29:45
|
显示全部楼层
以下为根据外网DFL2.0 使用指南和论坛问题答复（9月12日更新）， 花费两天多时间翻译并精简总结的训练步骤。
一并附上10.1章节的原文翻译，为力求无损失地传达原作者的原意，所以尽量避免了意译，所以某些部分看起来可能有点绕脑。使用了谷歌 百度 腾讯 三款翻译API 加人工翻译校对，个人水平有限，错漏之处在所难免，不足之处敬请指正。
详细步骤
1.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW 随机扭曲：开
Enable gradient clipping梯度裁剪：关
eyes_mouth_prio （眼嘴优先）: 关
Uniform_yaw （均匀侧脸）：关
learning rate drop：关
True face power 真脸强度：0.0
GAN poewer： 0.0
开启RW随机扭曲，直到损失不再有明显减小。（此步骤的目的是让所有人脸都经过正确训练，看起来像SRC，并且没有任何人脸看起来不正确）
2.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW 随机扭曲：开
Enable gradient clipping梯度裁剪：开
eyes_mouth_prio （眼嘴优先）: 开
Uniform_yaw （均匀侧脸）：关
learning rate drop：关
True face power 真脸强度：0.0
GAN poewer： 0.0
开启梯度裁剪，开启EMP眼嘴优先，直到损失不再有明显变化。(此步骤主要目的是改善嘴巴和眼睛的泛化)
本帖隐藏的内容
3.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW 随机扭曲：开
Enable gradient clipping梯度裁剪：开
eyes_mouth_prio （眼嘴优先）: 关
Uniform_yaw （均匀侧脸）：开
learning rate drop：关
True face power 真脸强度：0.0
GAN poewer： 0.0
关闭EMP眼嘴优先，开启UY均匀侧脸， 直到损失不再有明显变化。（如scr源侧脸素材足够，且目标dst侧脸较少，此步可省略）
4.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW 随机扭曲：开
Enable gradient clipping梯度裁剪：开
eyes_mouth_prio （眼嘴优先）: 关
Uniform_yaw （均匀侧脸）：关
learning rate drop：开
True face power 真脸强度：0.0
GAN poewer： 0.0
关闭UY均匀侧脸（如目标dst侧脸较多可保持开启），开启LRD学习率下降，直到损失不再有明显变化。
5.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW随机扭曲：关
Enable gradient clipping梯度裁剪：开
eyes_mouth_prio （眼嘴优先）: 关
Uniform_yaw （均匀侧脸）：关
learning rate drop：关
True face power 真脸强度：0.0
GAN poewer： 0.0
关闭RW随机扭曲，关闭LRD学习率下降，关闭UY均匀侧脸（如果前一步骤未关闭），直到损失不再有明显变化。（此步骤模型将学习更精细的细节，面部将开始看起来更详细，特别是精细细节区域，如牙齿，眉毛，眼睛等）
6.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW随机扭曲：关
Enable gradient clipping梯度裁剪：开
eyes_mouth_prio （眼嘴优先）: 关
Uniform_yaw （均匀侧脸）：关
learning rate drop：关
True face power 真脸强度：0.0001或0.001
GAN poewer： 0.0
开启真脸强度，直到损失不再有明显变化。
7.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW随机扭曲：关
Enable gradient clipping梯度裁剪：开
eyes_mouth_prio （眼嘴优先）: 关
Uniform_yaw （均匀侧脸）：关
learning rate drop：开
True face power 真脸强度：0.0
GAN poewer：0.1
关闭真脸强度，开启学习率下降LDR, 开启GAN 。
总结：
1.使用预训练好的模型。
2.仅开启RW训练。（GAN和LDR关）；（CT颜色转移rct,可以开启）。
3.打开EMP眼嘴优先训练。
4.关闭EMP眼嘴优先，打开UY均匀侧脸训练。
5.关闭UY均匀侧脸，再启用LRD训练。
6.关闭 RW和LRD，训练。（如要求很高，此步骤训练完之后，可重复训练3、4、5、6步骤,重复时，RW无需再重新打开）
7.确保以上RW,LRD，EMP, UY均已关闭，开启true face训练。
8.关闭trueface，开启LDR和GAN训练。
附：
10.1章节原文翻译：
10.1 常见训练工作流程：
注意：LIAE架构在重用模型（训练）时可能会以不需要的方式运行，因此类似于RTT / RTM训练，它可能需要用户删除两个内部文件（inter_ab，inter_b）中的一个，以便让模型在更改SRC，DST或两者时正确学习新面孔（谈论身份，但即使SRC和DST中的主体相同，也要对两个面部的光照类型进行重大更改）。
请阅读步骤 10.5 “训练的 LIAE/LIAE RTM 模型的额外训练和重用 - 删除inter_ab和inter_b文件解释：”，了解有关删除哪个文件间文件以及何时删除的详细说明（这取决于要更改的内容、SRC、DST 或两者）。
这是一个非常简单，傻瓜式的工作流程，使用风险自负，我建议您正确学习每个选项并练习它们的使用以提出自己的工作流程，使用这可能会导致质量欠佳，但总的来说应该给你一些看起来并不完全垃圾的东西，仍然大多数人可能会以类似的方式进行训练，因为有一个适当的顺序来做一些事情DFL，只是经常有你需要改变一些事情的情况，你也并不总是需要我们所有可用的选项来获得良好的结果，了解sofware的工作原理以及每个选项的作用将总是有帮助的，并允许你调整工作流程，以满足您的需求，所以请， 阅读整个内容（整个指南，而不是这个简化的工作流程）。
请不要问我为什么在这个工作流程中会出现这样的事情，如果您需要帮助，请阅读我在这个简化的工作流程中提到的各种选项使用的说明。
步骤1 - 预训练您自己的模型或下载预训练/训练的模型并将其放在“模型”文件夹中。
步骤2 - 开始训练时只启用随机扭曲（RW）并禁用其他所有内容以在数据集上推广模型，如果您正在使用非常有限的SRC数据集，则可以启用SRC面的随机翻转；使用RCT，LCT或SOT颜色转移（RCT通常足够好，LCT仅在非常特定的情况下才好， SOT是最好的，但很重，很慢，还有MKL和IDT模式，可以随意尝试所有模式并使用在给定情况下效果最好的模式），继续训练，直到所有人脸都经过正确训练，看起来像SRC，并且没有任何人脸看起来不正确，如果你发现不好的脸，检查脸部的DST标志，并检查你是否有该角度的SRC样本， 使用此表达式或模拟表达式并在类似的光照条件下，如果没有，则改进SRC数据集并修复DST未对齐aligned。当你的损失也不再像以前那样迅速下降，请转到下一步（dfl每25分钟保存并更新一次当前损失，如果2-4小时后损失没有太大下降，请转到下一步）。（译者注：启用RW→)
步骤3 - 一旦你修复了你的数据集继续训练，所有糟糕的预测可能需要一些时间来改进，因为模型需要学习新面孔，一旦一切看起来都很好，你的损失在过去2-4小时内没有太大变化，你可以选择启用EMP眼嘴优先训练几个小时，以改善嘴巴和眼睛的泛化（EMP在启用时优先考虑这些区域， 当它处于亏损状态时，将随着时间的推移而上升和下降，但在禁用它之前不会达到启用EMP之前的损失值），然后禁用EMP眼嘴优先并启用UY均匀侧脸，均匀侧脸将改善各种困难的角度，侧面（侧面）面等，一旦损失再次停滞，您可以禁用UY均匀侧脸或保持启用它并启用LRD并训练，直到损失再次停滞， 确保也检查预览，不要仅仅依赖于损失值，请记住，根据两组的大小和质量，您可能会注意到不同的损失值，您很少会在各种项目上达到相同的值，有时在RW阶段结束时，您可能会处于0.4，其他时候为0.3，任何一个SRC，DST或两者兼而有之（通常DST是单一来源，更一致且更小，因此在这些情况下，SRC损失会更高，并且可能仍在下降，而DST损失已经没有太大改善，如果SRC仍在改善继续训练）。（译者注：启用EMP→禁用EMP, 启用UY→禁用UY， 启用LRD→)
步骤4 - 禁用RW随机扭曲，UY均匀侧脸（如果您在运行LRD时保持启用状态）和LRD学习率下降，请继续训练，现在模型将学习更精细的细节，面部将开始看起来更详细，特别是精细细节区域，如牙齿，眉毛，眼睛等。一旦损失再次停滞，您可以重复步骤 3 中的步骤，EMP 眼嘴优先几个小时，然后禁用 EMP 并启用UY（或在 UY 运行时保持启用 EMP），然后禁用UY 和 EMP 或保持 UY 启用（但禁用EMP）并运行 LRD，直到 SRC 和DST 的损失不再改善。（译者注：禁用RW, LRD → 步骤3→；注意：重复步骤3时RW无需再重新打开）
步骤5 - 一旦损失不再有多大改善，如果您觉得您的脸看起来不像SRC（低值0.00001-0.001），那么您也可以启用可选选项，如真脸true face（TF，SAEHD模型的唯一DF类型架构），使模型生成的脸看起来更像您的SRC样本（值太高会导致颜色和光照不匹配，在极端情况下，与DST完全不匹配，甚至与DST脸相比，脸的俯仰/偏角似乎错误），和面部风格力量face style power（值也很低，0.0001-0.1），以将DST的一些风格和颜色传递给您的预测脸，这可能会改善颜色匹配和光照，但也可能会使脸看起来不像SRC。 如果您觉得在合并过程中DST的某些部分可能会从您预测的（最后一张脸）下面突出（侧面照片上的长鼻子、皱起的嘴唇、睫毛），您还可以启用BSP背景样式功能，使背景更像DST背景，并模糊遮罩使其更模糊和平滑，以便您可以在合并期间扩展遮罩，并使用经过训练的面部背景。您还可以在第6步后禁用遮罩训练，这将训练整个训练区域，提高背景质量，但您也可以尝试在GAN之前运行它-请记住，所有这些都是可选的，如果您是初学者，请跳过此步骤，假装它不存在。（译者注：true face可以开低值0.0001或0.001，其他不建议开。）
步骤6 - 启用GAN的值为0.1，使用默认的Patch Size和GAN dims，让GAN运行至少50-80K迭代如果是第一次使用GAN，一开始你什么也看不到，在10-15K时，你会开始注意到一些噪音，图案，线条出现在脸上，继续训练，直到它们消失，你开始看到眉毛和睫毛区域的噪音，皮肤纹理将开始细化。随着时间的推移，噪声应该会消失，但请记住，GAN需要非常好的SRC集，如果SRC集不理想，您可能会发现大量噪声和重复图案的结果，看起来很糟糕，或者太强，因此如果结果不理想，可能需要降低power值。（译者注：启用GAN前请确保RW等已关闭，并启用LDR）。
纹理和睫毛是相反的吧，睫毛是开嘴眼优先可以加快的，脸部纹理则相反，必须关闭嘴眼优先。你要再快一点，那就是减少素材数量，前期提高学习率，后期减少学习率，加大BS，开关LOSS平滑，就这些招数了
严正声明：本文档仅供学习交流，严禁用于任何非法行为，如作他用所承受的法律责任一概与本编者无关。 |
|
|Archiver|手机版|deepfacelab中文网
|网站地图
楼主
