gan0.0001，是不是没必要开学习率下降了？

WaveBedo · 发表于 2024-1-23 01:09:23

星级打分

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 WaveBedo 于 2024-1-23 01:20 编辑

捕获00219.PNG

开学习率下降似乎有多个身份，1避免模型崩溃，2避免练过头，3降低学习强度，4加快清晰
在gan的阶段，开学习率下降是降低gan的强度，还是加快细节清晰的啊？

如果采用gan0.0001，这种低的数值，是不是就没有必要开学习率下降了？

wtxx8888 · 发表于 2024-1-23 16:37:58

本帖最后由 wtxx8888 于 2024-1-23 17:02 编辑

WaveBedo 发表于 2024-1-23 15:51
此丹以后任何情况下，都只能一直开着学习率下降
-------------
关闭学习率下降之后，gan一段时间，学习率 ...

此项并不是学习率下降，翻译与功能是不匹配的。
它是一个LOSS最优解的捷径算法，开启会造成训练数据的残缺。
开启后，再关闭的后果，丹的画面会变得奇怪

你自己试试就知道了，关闭的瞬间，LOSS会暴增不减，并会影响丹从此以后的，图像成像能力

wtxx8888 · 发表于 2024-1-23 13:10:32

本帖最后由 wtxx8888 于 2024-1-23 13:42 编辑

学习率下降有个阎王特性，开启就不能关闭，此丹以后任何情况下，都只能一直开着学习率下降！你说能不能关？？？
正确做法是硬迭代至GAN要求，直接GAN。学习率下降就是个鸡肋项，开了再关闭，会造成各种问题。

wzx945 · 发表于 2024-1-23 11:54:11

新人不懂，问个基础问题哈
什么叫练过头？是指过拟合吗？不过练丹不是越像越好吗，似乎也不怕过拟合吧？

WaveBedo · 发表于 2024-1-23 15:39:26

wzx945 发表于 2024-1-23 11:54
新人不懂，问个基础问题哈
什么叫练过头？是指过拟合吗？不过练丹不是越像越好吗，似乎也不怕过拟合吧？ ...

练过头的情况，应该是比较难达到的。我是没有遇到过
遇到loss不怎么下降之后，走下一步，应该是不会出现这个问题的

WaveBedo · 发表于 2024-1-23 15:51:23

wtxx8888 发表于 2024-1-23 13:10
学习率下降有个阎王特性，开启就不能关闭，此丹以后任何情况下，都只能一直开着学习率下降！你说能不能关？ ...

此丹以后任何情况下，都只能一直开着学习率下降
-------------
关闭学习率下降之后，gan一段时间，学习率也不会恢复吗？
学习率下降可以加快loss下降，如果不开的话，会费很多时间啊

WaveBedo · 发表于 2024-1-23 17:13:32

本帖最后由 WaveBedo 于 2024-1-23 17:22 编辑

wtxx8888 发表于 2024-1-23 16:37
此项并不是学习率下降，翻译与功能是不匹配的。
它是一个LOSS最优解的捷径算法，开启会造成训练数据的残缺 ...

好的，大概明白了
开了之后相当于，走另外一条路了
关闭之后，学习率下降的成果会消失，画面会重新变形
为了维持这种成果，学习率下降应该开到最后，或者不开

也就是它会加快loss下降，也会加快gan清晰？
如果追求快速的话，开学习率下降应该是有帮助的?

wtxx8888 · 发表于 2024-1-23 17:23:04

WaveBedo 发表于 2024-1-23 17:13
好的，大概明白了
开了之后相当于，走另外一条路了
关闭之后，学习率下降的成果会消失，画面会重新变形

嗯是的，它是通过丢弃部分训练数据，实现的LOSS快速下降。
有的地方翻译叫学习率丢弃，它是一种捷径的AI学习方式。跟学习率，毛关系没有。

WaveBedo · 发表于 2024-1-23 17:45:32

本帖最后由 WaveBedo 于 2024-1-23 19:06 编辑

wtxx8888 发表于 2024-1-23 17:23
嗯是的，它是通过丢弃部分训练数据，实现的LOSS快速下降。
有的地方翻译叫学习率丢弃，它是一种捷径的AI ...

好的，非常感谢！
这就明白为什么不能关了
如果称呼为学习率下降，确实有很大的迷惑性
难以确定它到底是加速，还是降低强度

freellxd · 发表于 2024-1-23 23:58:40

我开GAN就是关学习率的，并没有变形

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）