deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1382|回复: 27

GPU对训练速度的影响

[复制链接]

50

主题

1224

帖子

8175

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8175
 楼主| 发表于 2022-5-18 08:20:05 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 WinKK 于 2022-5-20 06:26 编辑

训练很无聊,就开始做试验。把GPU设置改了一下,电源功耗调高10%,VRAM最高频率调高5%。于是就有了下面的数据:
调整前
[07:45:42][#1443636][0624ms][0.9734][0.9866]  温度65-70,结温80-90
调整后
[08:10:25][#1446054][0593ms][0.7253][0.5871]  温度和结温高5度左右

可见,每次迭代时间减少了31ms,也就是速度提升了5%左右。

AI训练就是烧显卡啊


重要提示:调GPU参数时,一定要停止训练!!!


评分

参与人数 2贡献 +2 收起 理由
Winter + 1 淡定
2863748407 + 1 很给力!

查看全部评分

回复

使用道具 举报

53

主题

280

帖子

1734

积分

初级丹圣

我的名字为什么是串数字?

Rank: 8Rank: 8

积分
1734
发表于 2022-5-18 08:38:30 | 显示全部楼层
很危险的操作
我是一个兵,来自老百姓...
回复 支持 反对

使用道具 举报

50

主题

1224

帖子

8175

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8175
 楼主| 发表于 2022-5-18 08:43:55 | 显示全部楼层

这个调整还算可控啊。按这种设置跑过一天一夜,没问题。

我见过功耗加20%的,VRAM频度是不敢多调,怕出错
回复 支持 反对

使用道具 举报

39

主题

1492

帖子

8232

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8232

万事如意节日勋章

发表于 2022-5-18 08:50:07 | 显示全部楼层
和玩游戏超频一个道理,高阶显卡只提升模型的效率,模型的效果只和显存有关
回复 支持 反对

使用道具 举报

2

主题

90

帖子

1319

积分

初级丹圣

Rank: 8Rank: 8

积分
1319
发表于 2022-5-18 08:56:00 | 显示全部楼层
进来学习一下
回复 支持 反对

使用道具 举报

11

主题

297

帖子

2429

积分

初级丹圣

Rank: 8Rank: 8

积分
2429
发表于 2022-5-18 09:02:42 | 显示全部楼层
注意显卡的散热(核心温度)。
回复 支持 反对

使用道具 举报

14

主题

586

帖子

4531

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4531
发表于 2022-5-18 09:03:56 | 显示全部楼层
建议放在冰箱里操作
回复 支持 反对

使用道具 举报

50

主题

1224

帖子

8175

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8175
 楼主| 发表于 2022-5-18 09:05:24 | 显示全部楼层
zzz上海 发表于 2022-5-18 09:02
注意显卡的散热(核心温度)。

没事儿,显卡有保护的。而且,据说40系就快发布了
回复 支持 反对

使用道具 举报

5

主题

518

帖子

5880

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5880
发表于 2022-5-18 09:14:18 | 显示全部楼层
学习学习
回复

使用道具 举报

3

主题

133

帖子

2418

积分

初级丹圣

Rank: 8Rank: 8

积分
2418

万事如意节日勋章

发表于 2022-5-18 09:17:48 | 显示全部楼层
WinKK 发表于 2022-5-18 09:05
没事儿,显卡有保护的。而且,据说40系就快发布了

不知道40系到时候支持情况如果,也许会单独出的40系版本?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-26 20:24 , Processed in 0.145606 second(s), 39 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表