关于训练万能模型的一点心得

20210901 · 发表于 2021-10-11 15:28:04

qoungyoung 发表于 2021-10-11 12:44
万能模型只针对df

受益匪浅

请问，为何第一阶段， bs建议开小一点呢？我一开始就bs20有何弊端？是拔苗助长了么？

an1211 · 发表于 2021-10-11 15:59:49

谢谢分享

羊衔玉 · 发表于 2021-10-11 19:14:11

20210901 发表于 2021-10-11 15:28
受益匪浅

请问，为何第一阶段， bs建议开小一点呢？我一开始就bs20有何弊端？是拔苗助长了么？ ...

第一阶段大于4没有意义，和bs4的效果一样

20210901 · 发表于 2021-10-11 19:35:03

qoungyoung 发表于 2021-10-11 19:14
第一阶段大于4没有意义，和bs4的效果一样

明白了，回头试试

无敌小金鱼 · 发表于 2021-10-12 17:43:02

麻烦问下，第三阶段lr_dropout还需要开着吗？三阶段的BS是否也是开到极限值？

omesa · 发表于 2021-10-12 20:48:21

谢谢楼主的分享，但是你说的10w-几十万次训练，用6g显存的显卡得多久啊？感觉得半个月吧

jsd32h · 发表于 2021-10-12 22:05:33

有个问题，训练中发现一些死亡角度效果不好所以补充src素材，需要重头开始训练吗？还是加了大角度src素材继续跑？

羊衔玉 · 发表于 2021-10-12 23:16:16

omesa 发表于 2021-10-12 20:48
谢谢楼主的分享，但是你说的10w-几十万次训练，用6g显存的显卡得多久啊？感觉得半个月吧 ...

224f的话，bs4大概一天10W

羊衔玉 · 发表于 2021-10-12 23:16:55

无敌小金鱼发表于 2021-10-12 17:43
麻烦问下，第三阶段lr_dropout还需要开着吗？三阶段的BS是否也是开到极限值？ ...

显卡能承受就能开着，也是极限值

羊衔玉 · 发表于 2021-10-12 23:17:37

jsd32h 发表于 2021-10-12 22:05
有个问题，训练中发现一些死亡角度效果不好所以补充src素材，需要重头开始训练吗？还是加了大角度src素材继 ...

如果是第二阶段，继续跑就可以

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）