找ai撸了一晚上代码，终于实现训练过程中学习率的动态调整

dfl9999 · 发表于 5 天前

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 dfl9999 于 2025-8-13 01:41 编辑

由于dfl优化器没有学习率预热、衰减之类的功能，学习率是固定的，5e-05这个值是偏大的，导致模型参数空间探索有限，很容易陷入局部最优，让学习率在5e-05和1e-05之间循环，每2万个迭代更新一次，10万迭代一个循环，以后练的模型直接起飞了

————————
文件已经放附件，只支持合体版DFL，位置deep\DFL1120_RTX30\_internal\DeepFaceLab\models\Model_SAEHD，直接替换Model.py。
注意：支持从0开始预训练或者正式训练模型，备份原有文件，不需要循环的时候再恢复回来，替换会修改原ui界面缩放大小，对1080P和2k屏幕支持不是很好，需要4K分辨率才能全部展示，模型收敛微调阶段建议替换回原来文件，并将学习率固定成1e-05.

Cxsmo · 发表于 4 天前

stuff like this is being worked on by DeepAscension V2 Devs and better

dfl9999 · 发表于 4 天前

Cxsmo 发表于 2025-8-11 02:09
stuff like this is being worked on by DeepAscension V2 Devs and better

Unless the developers can make a major breakthrough in gan modeling, some minor feature tweaks why should I bother waiting? Dynamic learning rate and locking encoder have been implemented on faceice for a long time, dfl doesn't have any meaningful updates