请教：练专丹中，预览图看着挺像src，但就是像蒙了一层纱.

music2222

music2222 发表于 2024-7-15 15:26

图片不知道咋发，
三维：384 92 72

dfl9999

wtxx8888 发表于 2024-7-15 14:40
好好查查LRD的翻译，该是学习率下降吗？它管学习率吗？
确定好了，再探讨学习率。

那怎么防止过度训练呢，99.5%跟110%用肉眼是没法分辨的，而且dfl训练不是均匀的，一直迈开大步训练，总是一部分过度训练，一部分欠训练，学习率dropout好像是专门解决这个问题的

wtxx8888

dfl9999 发表于 2024-7-15 18:00
那怎么防止过度训练呢，99.5%跟110%用肉眼是没法分辨的，而且dfl训练不是均匀的，一直迈开大步训练，总是 ...

原版的学习率，是恒定的5E-5，开不开LRD，都是这个学习率。


MVE分支或ICE，可以自定学习率。
要分明白了，学习率跟LRD算法的区别，它俩不是一个东西。

不推荐开LRD，是因为弊端的代价太大。就是乐意开，那随意~~~