gan0.0001，是不是没必要开学习率下降了？

WaveBedo

freellxd 发表于 2024-1-23 23:58
我开GAN就是关学习率的，并没有变形

好的

freellxd

我要收回之前我说的GAN的时候不开学习率。之前我用WFDF-UDT模型时，不开学习率的确没影响。但是我换了一个模型之后发现GAN的时候还是要开着学习率。所以要不要开还是要看具体情况

WaveBedo

freellxd 发表于 2024-2-22 23:38
我要收回之前我说的GAN的时候不开学习率。之前我用WFDF-UDT模型时，不开学习率的确没影响。但是我换了一个 ...

我现在搞不清学习率的作用了
我试过gan0.0001无法清晰之后，打开学习率一段时间，清晰度反而降低了

我原先的想法是，模型基本定型之后，再打开学习率的，加快清晰
打开学习率之后，只有微调
我以后应该会在扭曲后期、gan后期两个阶段开学习率丢失

ricemilk456

训练模型时使用的损失函数包刮SSIM跟l2loss(mse loss)，开启gan后会新增 gan_loss，可以想像损失函数变成 SSIM+l2loss+gan_loss*gan_power
也就是说gan_power可以想像成gan_loss跟其他的loss的比重

开启学习率降低的选项后全部的loss数值都会降低，使模型更快收敛
通常在训练的最后阶段才会开启

freellxd

WaveBedo 发表于 2024-2-23 01:04
我现在搞不清学习率的作用了
我试过gan0.0001无法清晰之后，打开学习率一段时间，清晰度反而降低了

你GAN开0.0001可能是太低了没效果，作者推荐的是0.1，我建议你先试试0.05.

WaveBedo

freellxd 发表于 2024-2-23 11:50
你GAN开0.0001可能是太低了没效果，作者推荐的是0.1，我建议你先试试0.05.

我试过gan0.3、0.01、0.001，结果清晰度都比不上0.0001
同一个模型，大概都跑了5000左右

不知道，是不是要跑几万，才会比0.0001清晰

freellxd

WaveBedo 发表于 2024-2-23 22:55
我试过gan0.3、0.01、0.001，结果清晰度都比不上0.0001
同一个模型，大概都跑了5000左右

跑个5万看看

WaveBedo

freellxd 发表于 2024-2-24 18:27
跑个5万看看

好的

tiange999

WaveBedo 发表于 2024-2-25 10:44
好的

实验的怎么样了

WaveBedo

tiange999 发表于 2024-5-7 09:18
实验的怎么样了

还没有试
目前的观察是0.01如果不开足够的话，清晰度是会比没开gan前低的