ICE版本学习率下降

qwwwwwwg33 · 发表于 2023-2-27 23:01:14

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 qwwwwwwg33 于 2023-2-27 23:44 编辑

今天下了ICE版，
学习率下降变成了
[5e-05] 自定义学习率，请谨慎修改。【Learning rate】 ( 0.0 .. 0.1 /?:帮助 ) :
原版的只有开和不开的区分，
要自己设数字突然给我整不会了，
原始值是多少？设多少算是下降？
烦请大佬们解惑

另外问下
[n] 使用dropout瘦化神经网络，提升模型泛化能力 ( n/y/cpu /?:帮助 ) :

这又是个什麽功能？具体哪个训练阶段开启?

mememe1 · 发表于 2023-2-28 11:00:08

总问，这个ice版那个显存优化器的确牛逼，我4090，512模型原版只能bs6，ice随便输了16直接跑成功了。我蒙了。等会去看看显存占用继续突破极限。
学习率参数定义我看了一圈是没人讲，5e-05啥意思有人知道不？

ken2099 · 发表于 2023-2-28 18:16:50

这是学习率，不是学习率下降
学习率不懂的话，默认就行，就是5e-05

学习率下降，在ICE里改了名字
中文大概叫什么提高泛化能力的，具体我忘了。

qwwwwwwg33 · 发表于 2023-2-28 18:24:19

ken2099 发表于 2023-2-28 18:16
这是学习率，不是学习率下降
学习率不懂的话，默认就行，就是5e-05

感谢大佬解惑，我就奇怪怎麽找不到，那个新改的学习率下降(泛化)我以为新功能啊，开着练一天了，需要重练不...?

ken2099 · 发表于 2023-2-28 20:22:47

qwwwwwwg33 发表于 2023-2-28 18:24
感谢大佬解惑，我就奇怪怎麽找不到，那个新改的学习率下降(泛化)我以为新功能啊，开着练一天了，需要重练 ...

当然不用
教授对这个参数的理解和论坛里其他人不太一样
他的建议是，
如果你的丹曾经开过这个参数，那就永远开着好了，再也不必关闭

sapphireshi · 发表于 2023-3-4 16:18:35

教授说这个选项保持默认就好了

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）