模型参数bs问题

wxl19970802 · 发表于 2021-12-15 01:29:26

星级打分

平均分:NAN 参与人数:0 我的评分:未评

最近在自己练一个模型。各种参数都开得挺好，bs调成标准的8就会oom，只好从2开始慢慢往上升，结果发现最后7是极限。所以就问一下，7和8的差别大吗，我看之前有人说bs低于8就算训练1000万次也没用（太夸张了），而且bs最好设置成2的次方，比如2.4.8.16等。我设置成7有影响吗

无敌小金鱼 · 发表于 2021-12-15 04:20:15

谁告诉你的低于8就没用？瞎扯呢嘛

lucq3000 · 发表于 2021-12-15 05:03:50

随风大佬还说在某些阶段开4比开8效果好呢

wxl19970802 · 发表于 2021-12-15 08:06:44

无敌小金鱼发表于 2021-12-15 04:20
谁告诉你的低于8就没用？瞎扯呢嘛

之前论坛里有篇帖子，我也不信，低BS只会导致相同迭代数下质量差一点而已吧。

koeikongxu · 发表于 2021-12-15 08:25:35

没自己练丹不是太清楚具体区别，但是我复用神丹的话，BS4-8是没问题的。
练丹时大BS的好处应该是丹的泛化能力更好，出效果更快，低BS泛化能力稍差一些，具体的还是问问各位炼丹大佬吧。

1234qwer111 · 发表于 2021-12-15 08:54:37

深度学习

wxl19970802 · 发表于 2021-12-15 09:41:38

koeikongxu 发表于 2021-12-15 08:25
没自己练丹不是太清楚具体区别，但是我复用神丹的话，BS4-8是没问题的。
练丹时大BS的好处应该是丹的泛化能 ...

谢谢解答

whl716694 · 发表于 2021-12-15 13:33:14

7-8没有差别

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）