gan0.0001，是不是没必要开学习率下降了？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

开学习率下降似乎有多个身份，1避免模型崩溃，2避免练过头，3降低学习强度，4加快清晰
在gan的阶段，开学习率下降是降低gan的强度，还是加快细节清晰的啊？

如果采用gan0.0001，这种低的数值，是不是就没有必要开学习率下降了？

wtxx8888

WaveBedo 发表于 2024-1-23 15:51
此丹以后任何情况下，都只能一直开着学习率下降
-------------
关闭学习率下降之后，gan一段时间，学习率 ...

此项并不是学习率下降，翻译与功能是不匹配的。
它是一个LOSS最优解的捷径算法，开启会造成训练数据的残缺。
开启后，再关闭的后果，丹的画面会变得奇怪
你自己试试就知道了，关闭的瞬间，LOSS会暴增不减，并会影响丹从此以后的，图像成像能力

wtxx8888

学习率下降有个阎王特性，开启就不能关闭，此丹以后任何情况下，都只能一直开着学习率下降！你说能不能关？？？
正确做法是硬迭代至GAN要求，直接GAN。学习率下降就是个鸡肋项，开了再关闭，会造成各种问题。

wtxx8888

DFL小白02 发表于 2024-5-26 22:01
啥意思?复用别人底丹不能关学习率？不是别人的专人专模也不能关？

看不懂文字？学习率下降lr_dropout，开启后练的那部分，一关闭就是白练（作者啥时候开的，练的都清空，如LOSS 0.3开，练到0.1，你关闭直接打回0.3）
至于作者几时开的，那就是看脸，LOSS低开的晚，影响不明显，开得早的话如0.5，呵呵。。。
爱白练的（自练），或爱效果打折扣的（别人的），随意关！
自己可以去实验，看看关闭了，是不是直接给你打回开启时的LOSS！

wtxx8888

WaveBedo 发表于 2024-1-23 17:13
好的，大概明白了
开了之后相当于，走另外一条路了
关闭之后，学习率下降的成果会消失，画面会重新变形

嗯是的，它是通过丢弃部分训练数据，实现的LOSS快速下降。
有的地方翻译叫学习率丢弃，它是一种捷径的AI学习方式。跟学习率，毛关系没有。

wzx945

新人不懂，问个基础问题哈
什么叫练过头？是指过拟合吗？不过练丹不是越像越好吗，似乎也不怕过拟合吧？

WaveBedo

wzx945 发表于 2024-1-23 11:54
新人不懂，问个基础问题哈
什么叫练过头？是指过拟合吗？不过练丹不是越像越好吗，似乎也不怕过拟合吧？ ...

练过头的情况，应该是比较难达到的。我是没有遇到过
遇到loss不怎么下降之后，走下一步，应该是不会出现这个问题的

WaveBedo

wtxx8888 发表于 2024-1-23 13:10
学习率下降有个阎王特性，开启就不能关闭，此丹以后任何情况下，都只能一直开着学习率下降！你说能不能关？ ...

此丹以后任何情况下，都只能一直开着学习率下降
-------------
关闭学习率下降之后，gan一段时间，学习率也不会恢复吗？
学习率下降可以加快loss下降，如果不开的话，会费很多时间啊

WaveBedo

wtxx8888 发表于 2024-1-23 16:37
此项并不是学习率下降，翻译与功能是不匹配的。
它是一个LOSS最优解的捷径算法，开启会造成训练数据的残缺 ...

好的，大概明白了
开了之后相当于，走另外一条路了
关闭之后，学习率下降的成果会消失，画面会重新变形
为了维持这种成果，学习率下降应该开到最后，或者不开


也就是它会加快loss下降，也会加快gan清晰？
如果追求快速的话，开学习率下降应该是有帮助的?

WaveBedo

wtxx8888 发表于 2024-1-23 17:23
嗯是的，它是通过丢弃部分训练数据，实现的LOSS快速下降。
有的地方翻译叫学习率丢弃，它是一种捷径的AI ...

好的，非常感谢！
这就明白为什么不能关了
如果称呼为学习率下降，确实有很大的迷惑性
难以确定它到底是加速，还是降低强度

freellxd

我开GAN就是关学习率的，并没有变形