学习率下降一定要开吗？

dabao21

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

学习率下降是后期一定要开的吗？逛了一段时间论坛，对学习率下降这个概念的理解就是训练的差不多了loss低了稳定了，预览图也差不多了，然后就把学习率调低学习训练的更细节的防止过拟合。
我在想开LR的阶段是必须有的吗，要是我看预览图感觉已经挺细节了是不是就可以不单独开LR，直接gan+lr了？
而且不是说gan也是训练细节的，那到底LR是干嘛的？为什么每次开了LR之后loss值就重新高起来然后再下降

dada_sky

gan+lr肯定是能同时开的啊。单独开LR阶段是为了关扭曲，要是Loss和预览觉得可以了，跳过这个阶段，也未尝不可，但一定要关扭曲。lr和gan参数意义完全不一样，LR是通过较大的学习率避免模型跳过最优解或在最优解附近震荡，gan是增加人脸真实度的算法。