求助：关于 batch size 和迭代次数

413148 · 发表于 2024-12-30 14:26:39

星级打分

平均分:NAN 参与人数:0 我的评分:未评

萌新报道。请问各位大佬，在其他因素都相同的情况下是否可以用 batch size 乘以迭代次数来衡量一个模型的炼度大小；是否理论上 BS=16 迭代 100 万次和 BS=8 迭代 200 万次得到的效果是一样的，谢谢列位大佬

wangdaye · 发表于 2025-1-4 04:29:23

本帖最后由 wangdaye 于 2025-1-4 04:51 编辑

413148 发表于 2024-12-31 20:48
请问到底是不是一样的呢，或者请问差距会有多大呢

要是素材一样 bs16的还是更厉害点但是也不会差距很大大bs只是不容易过拟合收敛其实快不了很多！和训练素材集有很大关系素材不好bs64跑出来的也没bs8跑出来的好要是素材集不一样就难说bs16和bs8那个更好了毕竟素材影响巨大单看bs的话还是16更好点

DFL小白02 · 发表于 2024-12-30 14:44:50

差不多，不过实际上很多高BS的模型并不是从一开始就开很高的BS，然后就是效果上略有差别，可能开高BS训练的模型同样计算条件下对某些素材细节会略好于一直低BS的

413148 · 发表于 2024-12-31 20:48:51

dhh520 发表于 2024-12-31 11:16
你做火车和你坐飞机、自驾，从上海到拉萨的感觉一样吗？

请问到底是不是一样的呢，或者请问差距会有多大呢

dhh520 · 发表于 2024-12-31 11:16:24

你做火车和你坐飞机、自驾，从上海到拉萨的感觉一样吗？

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）