萌新一枚求大佬解惑我训练模型时跑四五个小时就卡死

李如意 · 发表于 2024-5-27 07:22:25

星级打分

平均分:NAN 参与人数:0 我的评分:未评

每次都是这样跑个四五小时就卡死预览界面刷新保存没反应

这个也不动了

avtopalang · 发表于 2024-5-27 09:09:19

单次迭代时间越来越长，分配给DFL的算力越来越少，我觉得，检查你的风扇，散热什么的，或者是你还在同时跑其它的软件。

pasanonic · 发表于 2024-5-27 07:34:40

什么卡是不是鼠标点了cmd窗口暂停了

yxyao · 发表于 2024-5-27 07:56:30

我之前也遇到过卡死的情况，不过一般是刚开始跑的几分钟之内出现，把batch size调小之后就好了

李如意 · 发表于 2024-5-27 21:53:05

yxyao 发表于 2024-5-27 07:56
我之前也遇到过卡死的情况，不过一般是刚开始跑的几分钟之内出现，把batch size调小之后就好了 ...

都调到4了越跑越慢一慢就卡死

李如意 · 发表于 2024-5-27 21:58:27

avtopalang 发表于 2024-5-27 09:09
单次迭代时间越来越长，分配给DFL的算力越来越少，我觉得，检查你的风扇，散热什么的，或者是你还在同时跑 ...

单次迭代越来越长跑的越来越慢慢了就容易卡死但是GPU利用率越来越少上不去

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

萌新一枚 求大佬解惑 我训练模型时跑四五个小时就卡死