GPU对训练速度的影响

WinKK · 发表于 2022-5-18 08:20:05

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 WinKK 于 2022-5-20 06:26 编辑

训练很无聊，就开始做试验。把GPU设置改了一下，电源功耗调高10%，VRAM最高频率调高5%。于是就有了下面的数据：
调整前
[07:45:42][#1443636][0624ms][0.9734][0.9866] 温度65-70，结温80-90
调整后
[08:10:25][#1446054][0593ms][0.7253][0.5871] 温度和结温高5度左右

可见，每次迭代时间减少了31ms，也就是速度提升了5%左右。

AI训练就是烧显卡啊

重要提示：调GPU参数时，一定要停止训练！！！

2863748407 · 发表于 2022-5-18 08:38:30

很危险的操作

WinKK · 发表于 2022-5-18 08:43:55

2863748407 发表于 2022-5-18 08:38
很危险的操作

这个调整还算可控啊。按这种设置跑过一天一夜，没问题。

我见过功耗加20%的，VRAM频度是不敢多调，怕出错

1234qwer111 · 发表于 2022-5-18 08:50:07

和玩游戏超频一个道理，高阶显卡只提升模型的效率，模型的效果只和显存有关

xiaoxiaoxing · 发表于 2022-5-18 08:56:00

进来学习一下

zzz上海 · 发表于 2022-5-18 09:02:42

注意显卡的散热（核心温度）。

benlei · 发表于 2022-5-18 09:03:56

建议放在冰箱里操作

WinKK · 发表于 2022-5-18 09:05:24

zzz上海发表于 2022-5-18 09:02
注意显卡的散热（核心温度）。

没事儿，显卡有保护的。而且，据说40系就快发布了

忘忧之人 · 发表于 2022-5-18 09:14:18

学习学习

scuuuuu0410 · 发表于 2022-5-18 09:17:48

WinKK 发表于 2022-5-18 09:05
没事儿，显卡有保护的。而且，据说40系就快发布了

不知道40系到时候支持情况如果，也许会单独出的40系版本？

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

GPU对训练速度的影响

评分

万事如意节日勋章