损失突然变成10？还有救吗？

wetdavy · 发表于 2023-1-19 20:16:41

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 wetdavy 于 2023-1-19 20:22 编辑

新手训练模型，一直好好的大概迭代6000——12000（两种模型我都试了），在快达到损失0.1的时候，预览图逐渐模糊变灰，曲线也从4、5飙升到9.8。。。。
这种情况还有救吗？
我关掉重启用备份继续训练，也差不多几分钟就开始往上跳
q96又跑了10000次还是没有下降的样子

pasanonic · 发表于 2023-1-19 20:42:14

本帖最后由 pasanonic 于 2023-1-19 20:44 编辑

其实没有必要绝对的看损失,很多人被误导了认为数值越低越好那是浪费电看第二栏和第五栏图就行了

wetdavy · 发表于 2023-1-19 20:51:02

pasanonic 发表于 2023-1-19 20:42
其实没有必要绝对的看损失,很多人被误导了认为数值越低越好那是浪费电看第二栏和第五栏图就行了 ...

那两栏消失了。。开始是变模糊，一两千次之后彻底变灰色

pasanonic · 发表于 2023-1-19 20:53:14

wetdavy 发表于 2023-1-19 20:51
那两栏消失了。。开始是变模糊，一两千次之后彻底变灰色

恢复备份

林中千鸟 · 发表于 2023-1-19 21:34:29

本帖最后由林中千鸟于 2023-1-19 21:36 编辑

重炼备份把 Enable gradient clipping 开开

wetdavy · 发表于 2023-1-19 21:41:20

林中千鸟发表于 2023-1-19 21:34
重炼备份把 Enable gradient clipping 开开

买了个丹开始再试试，但是哪开你说的这个找不到啊

。。我用的是猫之汉化封装的那个版本，刚看了一圈没找到。。

正义的使者 · 发表于 2023-1-20 01:45:57

提示: 作者被禁止或删除内容自动屏蔽

ss1jw · 发表于 2023-1-21 20:53:21

炸的很彻底了重开备份吧

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

损失突然变成10？还有救吗？

万事如意节日勋章