炼丹方法（官方）:模型训练工作流程（SAEHD-DF） （非万能丹）
第一阶段：预训练（可选）
步骤 1-预训练模型或导入预训练模型。
输入所有模型设置。
启用预训练模式。
Phase 1: Pretraining (Optional)
Step 1 – Pretrain the model or import a pretrained model.
Enter all the model settings.
Enable Pretrain mode.
第二阶段：泛化/扭曲训练
第 2 步 - 随机扭曲
启用样本随机扭曲
启用蒙面训练（仅限 WF/Head）
禁用 True Face Power（仅限 DF 型号）
禁用 GAN
禁用预训练模式。
（可选）随机翻转SRC、随机翻转DST、颜色传输模式、随机HSL
（可选）在变形阶段添加或删除人脸集图像并更改蒙版
（可选）根据需要启用渐变剪辑
Phase 2: Generalization / Warped Training
Step 2 – Random Warp
Enable Random Warp of samples
Enable Masked training (WF/Head only)
Disable True Face Power (DF models only)
Disable GAN
Disable Pretrain mode.
(Optional) Flip SRC randomly, Flip DST randomly, Color Transfer Mode, Random HSL
(Optional) Add or remove faceset images and alter masks during warp phase
(Optional) Enable gradient clipping as needed
步骤 3 – 眼睛和嘴巴优先（可选）
启用眼睛和嘴巴优先
Step 3 – Eyes and Mouth Priority (Optional)
Enable Eyes and mouth priority
步骤 4 – 均匀偏航（可选）
禁用眼睛和嘴巴优先级
启用样本的均匀偏航分布
Step 4 – Uniform Yaw (Optional)
Disable Eyes and mouth priority
Enable Uniform yaw distribution of samples
步骤 5 - 学习率 Dropout（可选）
启用使用学习率 dropout
（可选）禁用样本的均匀偏航分布
Step 5 – Learning Rate Dropout (Optional)
Enable Use learning rate dropout
(Optional) Disable Uniform yaw distribution of samples
第三阶段：规范化/常规训练
第 6 步 - 定期训练
禁用随机变形
禁用均匀偏航
禁用眼睛和嘴巴优先级
禁用使用学习率
dropoutPhase 3: Normalization / Regular Training
Step 6 – Regular Training
Disable Random Warp
Disable Uniform Yaw
Disable Eyes and mouth priority
Disable Use learning rate dropout
步骤 7 – 样式和颜色（可选）
启用模糊遮罩、‘真实脸部’功率（仅限 DF）、脸部风格功率、背景风格功率
Step 7 – Style and Color (Optional)
Enable Blur out mask, ‘True Face’ power (DF only), Face style power, Background Style Power
步骤 8 – 眼睛和嘴巴优先（可选）
启用眼睛和嘴巴优先
Step 8 – Eyes and Mouth Priority (Optional)
Enable Eyes and mouth priority
步骤 9：均匀偏航（可选）
禁用眼睛和嘴巴优先级
启用样本的均匀偏航分布
Step 9: Uniform Yaw (Optional)
Disable Eyes and mouth priority
Enable Uniform yaw distribution of samples
步骤 10 – LRD（可选）
启用使用学习率 dropout
禁用眼睛和嘴巴优先级
（可选）禁用样本的均匀偏航分布
Step 10 – LRD (Optional)
Enable Use learning rate dropout
Disable Eyes and mouth priority
(Optional) Disable Uniform yaw distribution of samples
阶段 4：增强/GAN 训练（可选）
步骤11-GAN
禁用眼睛和嘴巴优先级
禁用样本的均匀偏航分布
设置 GAN 功率
设置 GAN 补丁大小
设置 GAN 尺寸
Phase 4: Enhancement / GAN Training (Optional)
Step 11 – GAN
Disable Eyes and mouth priority
Disable Uniform yaw distribution of samples
Set GAN power
Set GAN patch size
Set GAN dimensions
专丹参考上方官方教程即可.
训练万能丹（并不是每一步的参数，而是常驻参数）参考自滚石，以及一个B站视频。 我会常驻true face0.005 ；Uniform yaw distribution of samples（样本的均匀偏航分布——侧脸优化）开启；和色彩转换：rct。 什么是万能丹（炼制完成的万能模型）？(论坛有帖告诉了我们答案）及把万能丹放在workspace文件夹中，加上准备好的dst人脸文件，dst切帧图片，dst目标视频，直接合成人脸，再生成result视频。 在这里我不讨论这个，我想再去定义为什么练DF丹，liae为了直播之类的，有好的合成效果，DF是更像，以我的观点，练DF万能丹也好（为了让一个人下各种各样的象棋，各种各样的自我对弈），练DF专人丹也好（让一个人高质量的下某个象棋，认真的与自己对一次高质量奕）。或许我们的目的是丑陋的罢。但至少我是这样想的。所以我的万能丹是狭义上的万能。我的万能丹会采用对弈或者自我对弈dst作为训练素材。并非滚石那样各种各样类型的人脸都有的dst素材。正所谓No technique is forbidden。 dst素材选自训练集计划。3合1了 https://dfldata.cc/forum.php?mod=viewthread&tid=10622 (出处: deepfacelab中文网) 我会增添修改dst素材，比如我的目标视频大多是solo，所以我会从我剪辑的dst视频切出的脸加入进去。但是还是基于上方的正训练dst文件。
关于src，不论是补角度，还是素材收集种种，简单地探讨一下。相信很多人和我一样，补角度一度以执念的方式纠缠着我们，给我们带来的折磨就像是拿针线穿过皮肤，在抽拉时，痛苦一点一点，一圈一圈，包裹住你的心脏，到达一个阈值时，再猛地攥紧，hold it so tigh，and not let go。把我们压抑着，逼我们去学各种各样可能可行的补角度方法。他是我已知的作出尝试最多的人，我认为作者给出了我想要的答案。
帖子：尝试了各种补交度的方案 发现都不行 ai 3d建模 之类的https://dfldata.cc/forum.php?mod=viewthread&tid=19068
(出处: deepfacelab中文网)
而我自己尝试了滚石搭建的工作流补角度方法。还有论坛有探讨过的，借由ai绘画作为帮助，训练目标人物的Lora模型，局部重绘什么的等等。总结我自己的经验，还有看到的很多如上的帖子的作者的话。我只能很遗憾地说不尽人意。我们假设你不去选择liae，选择了df就相当于在好的融合度和人脸轮廓（最为主要的，当然人脸相似上df和liae也存在区别）的相似上你选择了后者？那么相信我，如果你把这些AI学习后的补给你的素材加进去，你失去的更多，不过我认为有一类特殊情况例外，假设你拥有一套精品src，但是，缺了一些角度（数量远远小于你原素材数量，这样造成的影响更小）你没法获得新的素材了，src退网了还是怎么样之类的。你可以使用滚石搭建的工作流，补出你缺少的角度（主要是为了更快获得那个角度下的人脸轮廓），然后用你的原素材，在ps或者什么图片编辑软件之类，就像做手术一样给补充素材植皮，移植眼睛、眉毛（五官）-——为了减小对原素材的影响，这个说难吧，网上（如b站）一大堆ps教学视频都有，只需学会ps的一些基本工具就可以做到。但是我认为这就是一个无底洞，过程简单（突然想起来还有相当一部分人不会使用滚石最新搭建的补角度工作流）但是，工作量很大，指移植过程。你把这些搞好了，废了这么大的劲，是不是会想到这个？
我在本贴写的怎么扩充自己的专属dst素材部分，有提到的排列组合。
然后你长叹一口气，What I WIll Done ，Can Not Be Undone 开始学习补充光影，学习移植眼神（斗鸡眼斜眼，眼睛睁开闭合程度）移植表情，比如笑容，鄙视，你还需要考虑到你原素材做出表情时，肌肉群变化。兄弟？！？你要复活谁啊！！收手吧。
作者的话：我自21年末接触到这个方面，起因是在油管看见了猫之汉化的教学视频，发现这个论坛后，我读完了大部分教学帖子（有些高级贴穷哥们我读不了）。一知半解，四处碰壁，这是我当时的状态，摸索了一段时间后我便废弃了这个方面。我相信很多很多人都和我一样，从0到1make us suffer。哪怕到了一之后我们应该也是在一个发现盲区，感到困惑，四处求知，多半碰壁的区间内。（各位对炼丹了解很深的大佬，有一些会在一些冷门的求知贴劝萌新或者询问者多去看帖，而没有给出一个答案（哪怕这个答案并不那么准确）。固然大佬们没有义务这么做，事实上论坛里确实有对应的帖子，或者是海外论坛里也有对应的解答.不给出答案，也遏制了伸手党和巨婴在论坛里的发展。）关于读帖，随风大佬的贴很好，我从中深受启发，但有些贴已经残缺了（和版权有关），我希望那部分帖子可以不要影响到你的思路。言归正传，关于训练DF（本贴不会过多探讨liae方面的知识）模型的学习，付出的时间和精力成本很大，从心理学上，每一次挫折都会削减我们在这方面的积极性。日积月累下，有些人的放弃是必然的。我想在这篇我的模型分享处女帖，给出一个尽可能完整的流程（万能丹）。让一些萌新或者此贴目标人群，把一切变得简单，先做再去探索未知的东西，比如某些大佬在做各个参数对预训练模型的影响。 What I WIll Done ，Can Not Be Undone。 如果你使用本贴预训练丹可以删除inter.npy文件，也可以保留，没有开梯度裁剪影响不大。（实测删除src_dst.opt文件有概率造成整个模型不可逆的损毁——当你删除opt开始训练时，会重建一个opt，在其他参都不变，素材也不改变的情况下依然有可能会发生，此时强制退出，还原opt有可能阻止，事实上有可能这样也没有用，至于原理我还在探寻。这种情况下你最好庆幸自己做好了全部文件的备份，否则你的付出有可能化为泡沫。）
|Archiver|手机版|deepfacelab中文网
|网站地图
楼主
发表于 2024-8-12 04:39:14
