求助 损失值下不去怎么办

pxrd

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

开了眼眉有限 SRC 保持0.2.但是DST损失值一直在0.8下不去

wtxx8888

开了梯度裁剪，还想快？
个人意见，SRC进入0.1以下，再考虑开梯度裁剪吧。
梯度裁剪，就是减慢LOSS下降速度的，用来换取稳定性（不炸丹）。

另外你的下不去，也不知道，是多久的时长。
后期，24小时不间断好几天，才可能会降0.01（好几天，LOSS都不动一点）.

davesen

DST损失指不用太在意，SRC降不下去就得靠迭代一点一点磨了

bailitian123

wtxx8888 发表于 2024-12-27 22:09
开了梯度裁剪，还想快？
个人意见，SRC进入0.1以下，再考虑开梯度裁剪吧。
梯度裁剪，就是减慢LOSS下降速度 ...

SRC进入0.1以下是开嘴眼优先还是不开？
我不开嘴眼优先练到0.08左右，开了嘴眼就变成0.2几了

wtxx8888

bailitian123 发表于 2024-12-28 18:53
SRC进入0.1以下是开嘴眼优先还是不开？
我不开嘴眼优先练到0.08左右，开了嘴眼就变成0.2几了 ...

看自己的承受能力，这特么，哪有个定值？
你耐不住寂寞的话，0.2怎么了，就不能用了？
人家挂机半年的主，能0.01。

davesen

bailitian123 发表于 2024-12-28 18:53
SRC进入0.1以下是开嘴眼优先还是不开？
我不开嘴眼优先练到0.08左右，开了嘴眼就变成0.2几了 ...

损失值到了一定程度就是靠迭代来一点一点磨，开了梯度裁剪的话，到一定程度下降的更慢

like

学习