大佬们，求教lora训练时loss=nan问题

zw7523 · 发表于 2023-5-7 21:38:45

无论用哪位大佬的训练方式，都是loss=nan，训练次数调低也是这样，请问有办法解决吗？显卡是1660S。

QQ截图20230507213825.png

kaka123 · 发表于 2023-5-7 22:36:57

你这个好像git没装好，

jack147852 · 发表于 2023-5-8 09:11:43

发全部的训练参数,有一个情况会导致,就是学习率太高,导致一下子穿了就变成loss=nan了

tmrsm · 发表于 2023-5-8 09:44:42

我1660也有這個問題，產圖沒問題，但LORA沒辦法訓練，後來沒解決，改用COLAB一段時間。

現在COLAB不給用了，在這裡蹲一個。

zw7523 · 发表于 2023-5-15 23:39:37

kaka123 发表于 2023-5-7 22:36
你这个好像git没装好，

大佬，我是网上下的git，没装好的话请问要装哪个，求一个谢谢

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）