gan0.0001，是不是没必要开学习率下降了？

tiange999

wtxx8888 发表于 2024-1-23 13:10
学习率下降有个阎王特性，开启就不能关闭，此丹以后任何情况下，都只能一直开着学习率下降！你说能不能关？ ...

那复用丹呢？ 换了新dst  上一个dst开过学习率和GAN 有影响吗？

wtxx8888

tiange999 发表于 2024-5-26 12:44
那复用丹呢？ 换了新dst  上一个dst开过学习率和GAN 有影响吗？

学习率下降？开了后训练的，关闭会清空（白练）。
例如新丹从零直接全程开，关闭后相当于还是新丹，啥时候开的，关闭就变回啥样。
所以开了后，就不能关。
至于复用别人的丹，你知道他啥时候开的？反正关闭它，就相当于开启后练的那部分没了

DFL小白02

wtxx8888 发表于 2024-5-26 20:47
学习率下降？开了后训练的，关闭会清空（白练）。
例如新丹从零直接全程开，关闭后相当于还是新丹，啥时候 ...

啥意思?复用别人底丹不能关学习率？不是别人的专人专模也不能关？

wtxx8888

DFL小白02 发表于 2024-5-26 22:01
啥意思?复用别人底丹不能关学习率？不是别人的专人专模也不能关？

看不懂文字？学习率下降lr_dropout，开启后练的那部分，一关闭就是白练（作者啥时候开的，练的都清空，如LOSS 0.3开，练到0.1，你关闭直接打回0.3）
至于作者几时开的，那就是看脸，LOSS低开的晚，影响不明显，开得早的话如0.5，呵呵。。。
爱白练的（自练），或爱效果打折扣的（别人的），随意关！
自己可以去实验，看看关闭了，是不是直接给你打回开启时的LOSS！