训练过程中是不是显存占用会一直上升啊?

ljzc2020 · 发表于 2022-8-14 17:22:10

星级打分

平均分:NAN 参与人数:0 我的评分:未评

显存12G，WIN11系统。BS开12，用GPU-Z监测，一开始占用10.5G，慢慢升到11.5、11.8，（1-2小时），后来就系统错误退出，应该是显存超了

BS开8，用GPU-Z监测，一开始占用10.5G，1小时后占用到了10.7，目前还正常

2863748407 · 发表于 2022-8-14 17:31:20

不知道你怎么监测的，bs开多少跟显存占用多少没直接关系！
就算是bs1也会100%占用gpu!
一般启动模型跑起来了就不会有大问题，
当然也要考虑程序有些处理环节会瞬时提高占用性能的空间
建议在能开到最高bs的数值下调一部分比如开到10，就设置8

Hulio666 · 发表于 2022-8-14 17:33:52

这是正常的现象跑深度学习显存很重要,因为要计算大量的算式存放在显存做快速的提取修正。
如果要跑高参的模型跑不了,可以建议把一些功能关掉,先求跑的动再求速度

ljzc2020 · 发表于 2022-8-14 17:34:18

2863748407 发表于 2022-8-14 17:31
不知道你怎么监测的，bs开多少跟显存占用多少没直接关系！
就算是bs1也会100%占用gpu!
一般启动模型跑起来 ...

谢谢，观测方法就是肉眼看GPU-Z的显存占用

，不是瞬间提升，一般都很稳定，显存占用上去之后不会下来

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）