BS加大到底有没有作用啊？

WinKK

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

最近炼丹又遇到瓶颈了，LOSS值一直没有明显下降。

下面这图从粗到细分别是BS=4，8，16，觉得慢，后面又恢复成8。




无论BS多大，从整个趋势上看似乎变化率差不多。那请问大家，这个BS到底设多大合适啊？

明年夏天

lyjly 发表于 2023-2-1 18:04
大bs肯定有作用，小bs和大bs跑到一样的迭代数的时候就看得到明显的差别了

你这说得就是个概念错误，只看迭代数的话当然是BS越大越好，关键是你BS大，迭代时间也长啊。
单次迭代时长/BS=单个映射的学习时长，当这个单个映射学习时长不会随BS大小变化时，理论上都是效率相同。
就是说你BS=4时，迭代时长是400ms，当你改到BS=16时，迭代时长是1600ms，那这样的时候，你开多少BS我觉得是没啥区别的，只当你BS=16时，迭代时长小于1600ms才有意义。
你BS=16时，花费1600s，显示迭代1000次；和你BS=4时，花费1600s，显示迭代4000次，理论效果一毛一样，花的电费也一样（咱就不深究显卡的不同状态下的功耗差异了哈），只是BS小的看起来迭代高，好唬人罢了。

cfab

看其他人经验，说是BS小练轮廓，BS大练细节，允许的范围内，越大越好吧。

yexinzhang

楼上分析到位

WinKK

cfab 发表于 2023-2-1 16:51
看其他人经验，说是BS小练轮廓，BS大练细节，允许的范围内，越大越好吧。

多谢指点
那么，到了这种LOSS变化很小，甚至出现波动的情况，BS怎么选择呢？ 也是越大越好？

cfab

WinKK 发表于 2023-2-1 16:58
多谢指点
那么，到了这种LOSS变化很小，甚至出现波动的情况，BS怎么选择呢？ 也是越大越好？ ...

抱歉，我也是初学者。 具体训练过程中出现的参数调整问题，也是一脸懵。。用允许的最大BS训吧，怎么也得几十万迭代才能看出区别吧。

lyjly

大bs肯定有作用，小bs和大bs跑到一样的迭代数的时候就看得到明显的差别了

WinKK

lyjly 发表于 2023-2-1 18:04
大bs肯定有作用，小bs和大bs跑到一样的迭代数的时候就看得到明显的差别了

我现在就是用8在跑，16的话，显卡速度就跟不上了

nancy

loss到0.1左右就比较难下降了吧

WinKK

nancy 发表于 2023-2-1 19:11
loss到0.1左右就比较难下降了吧

我开的参数比较多，一直在0.2以上