学习率下降一定要开吗？

dabao21

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

学习率下降是后期一定要开的吗？逛了一段时间论坛，对学习率下降这个概念的理解就是训练的差不多了loss低了稳定了，预览图也差不多了，然后就把学习率调低学习训练的更细节的防止过拟合。
我在想开LR的阶段是必须有的吗，要是我看预览图感觉已经挺细节了是不是就可以不单独开LR，直接gan+lr了？
而且不是说gan也是训练细节的，那到底LR是干嘛的？为什么每次开了LR之后loss值就重新高起来然后再下降