8万迭代学习率热重启

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

上次发了一个预训练学习率循环的Model.py，发现直接手动修改学习率会导致优化器重置，表现就是预览图变模糊和高频细节暂时丢失，会拖累训练进度，所以如果想在正式训练使用5e-05原始学习率，需要线性重启学习率，8万迭代把学习率从1e-05重启到5e-05（如果你的模型是用1e-05的学习率收敛的话），这个也适用在低学习率收敛的预训练模型，在正式训练8万迭代重启到原始的高学习率，学习率到了5e-05就不用管了不需要替换回原始的Model.py