帮我看看,这是啥情况,2天左右出现一次报错

pasanonic · 发表于 2024-3-31 14:03:13

星级打分

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 pasanonic 于 2024-3-31 14:07 编辑

排查了切脸图和驱动的问题

QQ图片20240325071639.png

wtxx8888 · 发表于 2024-3-31 14:28:43

本帖最后由 wtxx8888 于 2024-3-31 14:34 编辑

显卡中途失控了，没看见变NAN了？（无法处理数据）
个人感觉，可能是显卡过热，造成的工作失控。
如果温度并不高，那估计你显卡，十有八九要完犊子。
个人经验，设备老化最直接的表现，就是工作突然变得不稳定。

pasanonic · 发表于 2024-3-31 14:41:41

wtxx8888 发表于 2024-3-31 14:28
显卡中途失控了，没看见变NAN了？（无法处理数据）
个人感觉，可能是显卡过热，造成的工作失控。
如果温度 ...

wtxx8888 · 发表于 2024-3-31 14:50:19

本帖最后由 wtxx8888 于 2024-3-31 14:57 编辑

pasanonic 发表于 2024-3-31 14:41

报错信息写的是，显卡给软件的数据返回值，是错误的。
你已经排除了驱动与图的问题，而且这是中途才出的错，明显是工作不稳定的表现。
推荐你跑跑显卡的测试软件，检测一下显卡。

jinyuan37 · 发表于 2024-4-1 11:27:19

模型蹦了，CT模式改成RCT或者NONE跑跑看。

pasanonic · 发表于 2024-4-1 11:37:43

本帖最后由 pasanonic 于 2024-4-1 11:38 编辑

jinyuan37 发表于 2024-4-1 11:27
模型蹦了，CT模式改成RCT或者NONE跑跑看。

一直用的none 报nan后，关闭重新训练又可以开好久
显卡温度56°左右，从没有出现过死机、蓝屏、黑屏

jinyuan37 · 发表于 2024-4-1 13:47:01

pasanonic 发表于 2024-4-1 11:37
一直用的none 报nan后，关闭重新训练又可以开好久
显卡温度56°左右，从没有出现过死机、蓝屏、黑屏 ...

就是模型问题吧，群里之前也有人遇到过。

wtxx8888 · 发表于 2024-4-1 15:46:52

pasanonic 发表于 2024-4-1 11:37
一直用的none 报nan后，关闭重新训练又可以开好久
显卡温度56°左右，从没有出现过死机、蓝屏、黑屏 ...

开梯度裁剪了没？你截图的LOSS，早该开着梯度裁剪了（熟手应该不会没开吧？）。
LOSS如果下溢，也会变NAN。

pasanonic · 发表于 2024-4-1 18:49:25

wtxx8888 发表于 2024-4-1 15:46
开梯度裁剪了没？你截图的LOSS，早该开着梯度裁剪了（熟手应该不会没开吧？）。
LOSS如果下溢，也会变NAN ...

开了我换个模型试几天

pasanonic · 发表于昨天 00:25

本帖最后由 pasanonic 于 2024-5-17 00:31 编辑

找到原因了,只要关梯度裁剪就会那样

我是12gA卡,320及以上模型要全程开梯度就不会出现此问题,可能不开梯度,学习步子大,溢出错误了

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）