关于batch_size 有几个问题想请教大家：

gxsbd · 发表于 2022-1-19 08:45:19

提示: 作者被禁止或删除内容自动屏蔽

zck230 · 发表于 2022-1-19 23:11:55

请问我3090跑256的模型的话BS最大可以开多少

imecoder · 发表于 2022-1-23 14:04:53

自己试吧，不报错就往大了开

wgijit · 发表于 2022-1-24 10:37:10

有些东西不是真的越“大”越好，适合自己的才是真的好

niubi6666 · 发表于 2022-4-21 16:02:51

w422387324 发表于 2022-1-18 23:58
BS这个参数在神经网络学习中很常见，很多人误会了这个的意思，以为越大越好，粗略地说越大越好确实没错，只 ...

那后期刻画细节的时候用小BS更合适对吗？

ace119618 · 发表于 2022-8-18 17:17:06

学习一下 BS 知识

xylego · 发表于 2024-8-4 20:07:29

本帖最后由 xylego 于 2024-8-4 20:09 编辑

w422387324 发表于 2022-1-18 23:58
BS这个参数在神经网络学习中很常见，很多人误会了这个的意思，以为越大越好，粗略地说越大越好确实没错，只 ...

bs越大，曲线下降越快，但是震荡幅度越大。bs越小，曲线下降更慢，但是震荡幅度越小。

我感觉你说反了。
BS越大，一次所加入的训练集越多，训练集上的方差就相对越小。整体梯度曲线下降就相对快且稳定，震荡幅度就相对小。
BS小，每次加入的训练集就更少，方差就相对大，噪声就大。由于噪声大，导致每次的梯度方向上的波动更大。

不过鉴于大多数人只能开4，8，16，所以讨论价值不大

这点确实是，dfl官方推荐8-16的bs，过小的bs有可能导致收敛缓慢或者难以收敛。但是一般批量大小的讨论都至少是128，256这种级别。

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）