推荐大家用一下dadaptation这个自适应学习率的优化器试试

werran · 发表于 2023-3-20 15:01:28

本帖最后由 werran 于 2023-3-20 20:45 编辑

lion太容易过拟合了，一开始除了第一个epoch后面的都是过拟合

后来把青龙的默认学习率又降低了十倍才好一点
自适应学习率虽然慢一点但是基本除了第一个epoch都能用

aeoluszan · 发表于 2023-3-20 19:11:16

确实我用lion也遇到这样的问题

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）