请教大佬为什么学习率下降不一直打开，只是最后开？

ancientvoice

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

请教大佬为什么学习率下降不一直打开，只是最后开？

ken2099

学习率你可以理解为一个边界，训练的时候程序往各个方向去试探，如果返回的loss值降低了，那就认为是一个好的学习，会记录下来。
开始的时候，学习率比较高，就是说允许程序步子大一点，步子大一点可以越过一些难点，这个过程就能从模糊到清晰。
等到后期的时候，大体轮廓没问题了，这个时候就需要降低学习率，让程序不要莽撞的到处去试，而是减小步子，这样就能出来细节。
总结一下，学习率高，可以跨过一些难点，但是细节出不来，学习率低，有些难点可能永远学不会，但是可以出细节。如果学习率开早了，程序会在错误的方向上越走越远，最后变成怪胎。

buglmx

我测试后期脸上会训练出小格子

ancientvoice

buglmx 发表于 2022-9-30 15:28
我测试后期脸上会训练出小格子

我也正在实验，暂时还没有练出问题。。。如果脸上有格子了，有可能调整参数还可以练会去吧

anazyz

技术贴，谢谢

bg2kcg

怎么调学习率啊

ancientvoice

ken2099 发表于 2022-9-30 16:39
学习率你可以理解为一个边界，训练的时候程序往各个方向去试探，如果返回的loss值降低了，那就认为是一个好 ...

懂了懂了，感谢大佬指点迷津。赞赞赞！

ancientvoice

经过测试，的确如此，早期一直开学习率下降画面会开始变得清晰和有一些细节，但是大的轮廓和眼珠位置不准确等问题就会一直保持下来基本没有改善。取消学习率下降后，loss值剧烈上升，然后经过一小会训练又开始缩小。看来还是不能着急啊，慢慢训。适当的时候用适当的功能。

WaveBedo

ancientvoice 发表于 2022-10-8 11:25
经过测试，的确如此，早期一直开学习率下降画面会开始变得清晰和有一些细节，但是大的轮廓和眼珠位置不准确 ...

楼主，你好啊

我一般炼丹的步骤是，1扭曲，2关扭曲，3真脸，4gan
你现在一般在哪个阶段开学习率下降啊？