deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 826|回复: 1

推荐大家用一下dadaptation这个自适应学习率的优化器试试

[复制链接]

16

主题

124

帖子

1195

积分

初级丹圣

Rank: 8Rank: 8

积分
1195
 楼主| 发表于 2023-3-20 15:01:28 | 显示全部楼层 |阅读模式
本帖最后由 werran 于 2023-3-20 20:45 编辑

lion太容易过拟合了,一开始除了第一个epoch后面的都是过拟合

后来把青龙的默认学习率又降低了十倍才好一点
自适应学习率虽然慢一点 但是基本除了第一个epoch都能用



回复

使用道具 举报

3

主题

35

帖子

290

积分

初级丹师

Rank: 3Rank: 3

积分
290
发表于 2023-3-20 19:11:16 | 显示全部楼层
确实我用lion也遇到这样的问题
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-21 20:36 , Processed in 0.118824 second(s), 29 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表