关于炸丹跟充分训练的冲突和悖论

wtxx8888

roy777 发表于 2024-7-6 22:02
梯度裁剪要开吗？我都没注意这个参数，一直关闭的

个人意见，SRC或DST，任一个进入LOSS 0.2以下，就开梯度裁剪。
开晚了，LOSS容易下溢炸丹。
显示0.2时，实际上已经就有0.1以下的。
固定显示的那个，是平均值。
如最低0.1，最高0.3，固定显示的平均就是0.2）
最低0.05，最高0.35，固定显示的平均也是0.2，懂了没？
你无法确认最低是多少，所以0.2就开稳点