关掉adabelief优化影响大吗

future_s · 发表于 2022-6-18 12:38:54

星级打分

平均分:NAN 参与人数:0 我的评分:未评

最近喜欢跑五彩192f，6g显存只能开bs4，还得关掉ab优化才行

想请教大佬们，关掉ab影响如何？差别大不大？到底是影响速度还是效果？

很纠结要不要趁618换卡

wtxx8888 · 发表于 2022-6-18 12:51:05

本帖最后由 wtxx8888 于 2022-6-18 12:52 编辑

五彩参数太高，而且BS4很难出细节。AB影响很大，全方面的影响，开与关几乎就是两套算法。

Gottvonkarlberg · 发表于 2022-6-18 13:08:16

我有看过Adabelief的论文，从论文作者的实验结果来说，Adabelief比其他两个常用的优化器（Adam和SGD+Momentum）收敛速度快了不止一倍，也就是说同样步数下，你开Adabelief可能已经完事了，不开可能还早得很

gwofeng · 发表于 2022-6-18 13:26:25

用RG版吧，BS可以多拉高一倍

AKERSHUS · 发表于 2022-6-18 13:41:04

正在输入的也很好，几千次就能开gan了

442703115 · 发表于 2022-6-18 14:02:14

提示: 作者被禁止或删除内容自动屏蔽

niubi6666 · 发表于 2022-6-18 14:21:57

把模型放进GPU关掉。至少能开到8。

future_s · 发表于 2022-6-18 17:14:32

niubi6666 发表于 2022-6-18 14:21
把模型放进GPU关掉。至少能开到8。

这个关掉应该会慢很多吧

future_s · 发表于 2022-6-18 17:15:47

好的，为了开ab优化，我决定换跑正在输入224

换显卡还是再等等，我看btc崩得厉害

dsyrock · 发表于 2022-6-18 21:58:41

这样跑，还不如给点钱用colab跑呢

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）