adabelief优化器效果怎么样

noob2021 · 发表于 2021-10-28 13:40:44

星级打分

平均分:NAN 参与人数:0 我的评分:未评

训练模型时候在显存允许的情况下，是BS8关闭adabelief效果好还是BS取6然后开adabelief好啊，如果bs8的话会爆oom

whl716694 · 发表于 2021-10-28 14:16:32

说是会提高训练效率，但是感知不强

solobabbit · 发表于 2021-10-28 16:53:53

提高了训练效率，建议开启，BS可以适当调整

lengiie2001 · 发表于 2021-10-28 19:39:23

反正我训练的时候这个是一直开着的

plotchen · 发表于 2021-10-28 19:57:22

说实话看不出特别的效果，反正我是一直开启的

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）