batch_size开多大合适？

2863748407 · 发表于 2022-7-28 19:54:24

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

BS这个参数在神经网络学习中很常见，很多人误会了这个的意思，以为越大越好，粗略地说越大越好确实没错，只是说法不准确，神经网络学的效果是一条震荡的loss曲线，bs越大，曲线下降越快，但是震荡幅度越大，bs越小，曲线下降更慢，但是震荡幅度越小。简单地说，bs大，人脸可以快速增加相似度，但是容易产生更多不自然的表情和五官，bs小，人脸学习速度更慢，但是细节会更贴近目标。bs值取合适就好，不过鉴于大多数人只能开4，8，16，所以讨论价值不大

引用w422387324的原文
4bddb4e382a829f3d2cd3d713285a63fab55e33836a5c-A5cbHK_fw1200.jpg