gradient clipping可以不开吗？

Hairs09 · 发表于 2023-10-15 14:51:13

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

gradient clipping怎么关闭呢？一关就炸丹，如果换新的src是不是关闭 gradient clipping会练得快一点？

番茄哥 · 发表于 2023-10-15 17:37:32

可以的，前期可以不开，后面如果开了gan_power,face power这样的，可以开启，防止模型崩溃

小飞侠 · 发表于 2023-10-15 17:40:45

可以的，开了会占用一点显存，模型训练延迟，但是也可以防止模型崩溃

jinyuan37 · 发表于 2023-10-15 21:27:23

不开学习率和GAN的情况下没必要打开，设定好自动备份时间就好。

Hairs09 · 发表于 2023-10-15 21:30:13

jinyuan37 发表于 2023-10-15 21:27
不开学习率和GAN的情况下没必要打开，设定好自动备份时间就好。

我遇到的问题是关不了，没有开lr_dropout和gan，但是一关这个就炸丹，这个问题有碰到过吗？

940914887 · 发表于 2023-10-16 06:49:07

别开，我自己实验，开了后变得像dst

jinyuan37 · 发表于 2023-10-16 07:12:54

Hairs09 发表于 2023-10-15 21:30
我遇到的问题是关不了，没有开lr_dropout和gan，但是一关这个就炸丹，这个问题有碰到过吗？ ...

参数多少，显存多大

luckXu · 发表于 2023-10-16 11:31:08

番茄哥发表于 2023-10-15 17:37
可以的，前期可以不开，后面如果开了gan_power,face power这样的，可以开启，防止模型崩溃 ...

呦呦呦，番茄哥在这解答问题不收费，转到小红书收费不一般啊

Hairs09 · 发表于 2023-10-16 17:09:58

jinyuan37 发表于 2023-10-16 07:12
参数多少，显存多大

我用的zibi的丹，3080Ti的卡。我今天把AdaBelief optimizer关闭之后就没有炸丹了不知道为啥。我原来的scr的loss值很低小于0.1，但是换scr之后loss值降不了这么低，好像开了 gradient clipping会使模型保留原有的scr的记忆所以打算关掉，之前怕炸丹是一直开的。

Hairs09 · 发表于 2023-10-16 17:13:37

940914887 发表于 2023-10-16 06:49
别开，我自己实验，开了后变得像dst

开gan的时候可以开，防止炸丹，不知道为啥遇到这么多炸丹

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

gradient clipping可以不开吗？

开心娱乐节日勋章

万事如意节日勋章