选择高BS还是高速度？

jinyuan37 · 发表于 2022-11-27 18:35:29

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 jinyuan37 于 2022-11-27 19:14 编辑

下了个模型，开优化器运行在GPU的情况下BS只能开到6，关掉这个优化器，BS能开到12，但是速度要慢将近3倍。
请教下大佬们。

1.这种情况下在运行相同的时间下，高BS效果好还是低BS迭代速度快效果好？还是一开始先低BS，后面精细学习的时候再提升BS？
2.ME版本的提升BS值原理是什么？效果和将优化器放到CPU从而提升BS一样么？
3.直接高BS慢慢来好还是换ME版本？

jinyuan37 · 发表于 2022-11-27 19:24:32

本帖最后由 jinyuan37 于 2022-11-30 07:28 编辑

最终还是用ME版本，再也不用为显存担心了。

kanbumingbai · 发表于 2022-12-6 09:20:11

jinyuan37 发表于 2022-11-27 19:24
最终还是用ME版本，再也不用为显存担心了。

请教下ME版本是啥?不担心显存是用内存么？

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

选择高BS还是高速度？

开心娱乐节日勋章