batch 的大小 最主要是影响哪方面？

ray139

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

batch 的大小 最主要是影响哪方面？
是影响训练速度 还是 影响效果呢？
是速度的话， 2 跟 4  实际相差需要的训练时间是2倍的概念吗？
希望各位前辈给予指教，谢谢。

nicky9999

batch size是每次取样的大小
以DFL来说,是每次取SRC BS=N去跟所有DST比较
如果SRC有24张你BS开到8,刚好每次都没重复,那跑3次迭代会把SRC练过一轮
但是取样是随机的,我们也不会放那麽少张,大家应该都有练了老半天还有些角度是模糊的经验
所以BS2要花的时间肯定超过BS4的两倍以上

你的BS能开到多大很直观的影响你练到完成的时间,应该很容易理解吧。

wtxx8888

1。BS就是精度的概念，越大每次迭代越准，越小精度越低
2。都影响
3。时间确实是成倍，但效果可能更低，比如4的效果，两次2不一定能达到。

所以算细节时，是BS开到自身硬件的极限

ray139

wtxx8888 发表于 2022-6-1 11:46
1。BS就是精度的概念，越大每次迭代越准，越小精度越低
2。都影响
3。时间确实是成倍，但效果可能更低，比 ...

多谢指导，受益匪浅~

wtxx8888

ray139 发表于 2022-6-1 11:49
多谢指导，受益匪浅~

我也是新手，才一个月DFL而已，我就是这么理解的。

但是BS大了每次迭代时间也会增加，就像我说的，4的效果两次2不一定能达到，还是大BS优先考虑

楼兰古国

多看看教程   宏观上是越大越好，细致一点并不一定

捡回一只猪

后排学习到了

werran

1/单次迭代的速度乘以bs
取最大值的bs组合效率最高

一般来说bs越大效率越高
影响的是达到相同实际训练效果的速度

ray139

nicky9999 发表于 2022-6-1 20:55
batch size是每次取样的大小
以DFL来说,是每次取SRC BS=N去跟所有DST比较
如果SRC有24张你BS开到8,刚好每次 ...

明白了 讲的很容易理解 谢谢啦

ray139

werran 发表于 2022-6-1 18:28
1/单次迭代的速度乘以bs
取最大值的bs组合效率最高

嗯 显存太小 只能跑2 速度好慢额