找ai撸了一晚上代码，终于实现训练过程中学习率的动态调整

Cxsmo

dfl9999 发表于 2025-8-13 00:38
So when？

Don't know exactly because the other devs keep adding cool stuff

dfl9999

xunlian 发表于 2025-8-14 14:07
在DFL系统中 loss函数决定着最终生成图像的品质。
loss 函数引导者编码器和解码器 去重建SRC和DST 然后通 ...

管他呢先试试循环效果，反正又不收我电费，结果说话
其实我倒是不反感用gan来生成纹理，但是如果能在lrd阶段就搞定大部分纹理何乐而不为？对抗训练本身是无可替代的，算是个强大的兜底，而我做的不过是为了能加速训练，没有其他想法

dfl9999

wtxx8888 发表于 2025-8-14 10:05
。。。似是而非的理解。
学习率，主要是调节，拟合效应的。
任何参数不变，维持超长时间，会形成惯性，就 ...

维持5e-05，训练到后期样本缺陷和梯度累积的错误被无限放大导致梯度必炸，调低学习率可以在不开梯度裁剪的情况下延缓炸丹，这个我实验了无数次了，有些复用必炸的丹也可以通过调低学习率防炸，高学习率梯度震荡，低学习率梯度平稳，炸丹是梯度已经不稳再加上学习率设置不当造成的。
关于lrd跟lrc，预训练阶段开过lrc，正式训练开不开都不影响，也就不存在跟lrd有啥潜在冲突了。
退一步讲，lrc跟lrd我问过d指导和grok4专家模式，都建议可以同时使用，特别是d指导，我把你的评论转过去它火气大的很。

wtxx8888

dfl9999 发表于 2025-8-14 20:44
维持5e-05，训练到后期样本缺陷和梯度累积的错误被无限放大导致梯度必炸，调低学习率可以在不开梯度裁剪的 ...

别的不说，就原版不能自定学习率的情况下。
全世界，还不是该用一样用？到停更，原版都没变成 可自定学习率。
就两三行代码的事，简单的一批，DFL作者为啥都懒得动手？
甚至都不用他自己动手，全世界只要有大神改了提交，他同意下就行。
是全世界的大神，都没意识到其重要性去改？还是DFL作者对学习率的自定，连点个同意都欠奉？
反正原版软件直到停更，都没变成 可自定学习率，这不够说明其作用的低下？这是即成的事实吧？
学习率，就是个仁者见仁智者见智的东西，还谁火大？真当自己是真理了？？？