deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 248|回复: 8

帮我看看,这是啥情况,2天左右出现一次报错

[复制链接]

29

主题

398

帖子

2419

积分

初级丹圣

Rank: 8Rank: 8

积分
2419

万事如意节日勋章

 楼主| 发表于 2024-3-31 14:03:13 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 pasanonic 于 2024-3-31 14:07 编辑


排查了切脸图和驱动的问题



QQ图片20240325071639.png




QQ截图20240331090756.jpg

回复

使用道具 举报

9

主题

1716

帖子

9506

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
9506

真我风采勋章万事如意节日勋章

发表于 2024-3-31 14:28:43 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-3-31 14:34 编辑

显卡中途失控了,没看见变NAN了?(无法处理数据)
个人感觉,可能是显卡过热,造成的工作失控。
如果温度并不高,那估计你显卡,十有八九要完犊子。
个人经验,设备老化最直接的表现,就是工作突然变得不稳定。
回复 支持 反对

使用道具 举报

29

主题

398

帖子

2419

积分

初级丹圣

Rank: 8Rank: 8

积分
2419

万事如意节日勋章

 楼主| 发表于 2024-3-31 14:41:41 | 显示全部楼层
wtxx8888 发表于 2024-3-31 14:28
显卡中途失控了,没看见变NAN了?(无法处理数据)
个人感觉,可能是显卡过热,造成的工作失控。
如果温度 ...

回复 支持 反对

使用道具 举报

9

主题

1716

帖子

9506

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
9506

真我风采勋章万事如意节日勋章

发表于 2024-3-31 14:50:19 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-3-31 14:57 编辑

报错信息写的是,显卡给软件的数据返回值,是错误的。
你已经排除了驱动与图的问题,而且这是中途才出的错,明显是工作不稳定的表现。
推荐你跑跑显卡的测试软件,检测一下显卡。
回复 支持 反对

使用道具 举报

46

主题

737

帖子

7986

积分

高级丹圣

【少女之友】

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7986

开心娱乐节日勋章

发表于 2024-4-1 11:27:19 | 显示全部楼层
模型蹦了,CT模式改成RCT或者NONE跑跑看。
回复 支持 反对

使用道具 举报

29

主题

398

帖子

2419

积分

初级丹圣

Rank: 8Rank: 8

积分
2419

万事如意节日勋章

 楼主| 发表于 2024-4-1 11:37:43 | 显示全部楼层
本帖最后由 pasanonic 于 2024-4-1 11:38 编辑
jinyuan37 发表于 2024-4-1 11:27
模型蹦了,CT模式改成RCT或者NONE跑跑看。

一直用的none  报nan后,关闭重新训练又可以开好久
显卡温度56°左右,从没有出现过死机、蓝屏、黑屏
回复 支持 反对

使用道具 举报

46

主题

737

帖子

7986

积分

高级丹圣

【少女之友】

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7986

开心娱乐节日勋章

发表于 2024-4-1 13:47:01 | 显示全部楼层
pasanonic 发表于 2024-4-1 11:37
一直用的none  报nan后,关闭重新训练又可以开好久
显卡温度56°左右,从没有出现过死机、蓝屏、黑屏 ...

就是模型问题吧,群里之前也有人遇到过。
回复 支持 反对

使用道具 举报

9

主题

1716

帖子

9506

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
9506

真我风采勋章万事如意节日勋章

发表于 2024-4-1 15:46:52 | 显示全部楼层
pasanonic 发表于 2024-4-1 11:37
一直用的none  报nan后,关闭重新训练又可以开好久
显卡温度56°左右,从没有出现过死机、蓝屏、黑屏 ...

开梯度裁剪了没?你截图的LOSS,早该开着梯度裁剪了(熟手应该不会没开吧?)。
LOSS如果下溢,也会变NAN。
回复 支持 反对

使用道具 举报

29

主题

398

帖子

2419

积分

初级丹圣

Rank: 8Rank: 8

积分
2419

万事如意节日勋章

 楼主| 发表于 2024-4-1 18:49:25 | 显示全部楼层
wtxx8888 发表于 2024-4-1 15:46
开梯度裁剪了没?你截图的LOSS,早该开着梯度裁剪了(熟手应该不会没开吧?)。
LOSS如果下溢,也会变NAN ...

开了 我换个模型试几天
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-4-17 10:57 , Processed in 0.082967 second(s), 10 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表