关于为什么Lr_dropout没有用 by B站菜级玩家

day270010678

楼主你说的0.05的loss，你开退火是从开始训练就开启的？

T_max        步数        baseline        cosine anneal        结论
10000        300        0.2302        0.2301        约相同（lr几乎没降）
300        300        0.2406        0.3373        退火差（lr降太快，优化停滞）
1000        600        0.1517        0.1768        退火差（模型未收敛就降lr）
我测试的结果是余弦退火的正确用法是从训练开始就应该启用，T_max自动取target_iter或默认10000。lr从满格单调下降到lr/100，在整个训练过程中缓慢退火