deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 950|回复: 55

DFL升级CUDNN提升训练速度

[复制链接]

4

主题

106

帖子

1901

积分

初级丹圣

Rank: 8Rank: 8

积分
1901
 楼主| 发表于 2024-5-13 10:13:05 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 yxyao 于 2024-5-13 23:51 编辑

手动将DFL内置的CUDNN更新为CUDNN8.9.7 for CUDA11,经过对比测试,训练速度确实得到了提升。
我在4090、3080 10G和2080ti 22G三台机器上进行了升级前后的对比测试,4090训练速度提升13.2%,3080 10G和2080ti 22G训练速度均提升了4.5%
升级cudnn确实是提高了显卡利用率。我将cudnn8.9.7打包到网盘中,同时备份了DFL原版的cudnn以防万一。
我还尝试了最新的CUDNN9,但是总是运行不成功。此外尝试了升级CUDA版本包括11.6,11.8,12.1,12.4,也都没有任何作用。不知道有无大佬有相关方面的经验。

注意:仅适用于RTX3000版本

使用方法:下载文件:CUDNN_仅适用RTX3000版本/CUDNN8.9.7/CUDNN.7z,解压后覆盖到_internal文件夹即可。
当然,如果自己想更换其他版本的CUDNN,可直接访问英伟达官网下载,解压后把bin文件夹中的dll文件覆盖到DFL的CUDNN文件夹中即可。操作前一定备份原版文件,以防万一。

评分

参与人数 5贡献 +5 收起 理由
abudu1 + 1 十分给力!
毕加索 + 1 太好了感谢楼主
滚石 + 1
728187887 + 1 十分给力!
野生炼丹师 + 1 太好了感谢楼主

查看全部评分

回复

使用道具 举报

9

主题

1938

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
10756

真我风采勋章万事如意节日勋章

发表于 2024-5-13 22:55:51 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-5-13 22:57 编辑
cfmmx 发表于 2024-5-13 19:32
楼主说的对,仅适用于RTX3000版本,不能用于DFL_RTX2080Ti,已经论证,期待DFL_RTX2080Ti能用的版本。 ...

用2080版本的推荐你别动,反正我的1660T 在2080版可以开BS 10迭代0.7S,同丹到30版本下BS 9都炸,就算不炸BS 9迭代才0.78S.不是新显卡,别用30版。
回复 支持 2 反对 0

使用道具 举报

4

主题

142

帖子

1621

积分

初级丹圣

Rank: 8Rank: 8

积分
1621
发表于 2024-5-13 19:10:25 | 显示全部楼层
多谢分享,不管是否有提升,都感谢这样的无私精神
回复 支持 2 反对 0

使用道具 举报

4

主题

13

帖子

240

积分

初级丹师

Rank: 3Rank: 3

积分
240
发表于 3 天前 | 显示全部楼层
RTX 4070 提升了15%,感谢感谢
回复 支持 1 反对 0

使用道具 举报

0

主题

3

帖子

531

积分

高级丹师

Rank: 5Rank: 5

积分
531
发表于 4 天前 | 显示全部楼层
4060ti 16g,快了14.8%
回复 支持 1 反对 0

使用道具 举报

0

主题

12

帖子

151

积分

高级丹童

Rank: 2

积分
151
发表于 2024-5-17 04:54:44 | 显示全部楼层
十分感谢,提升很明显。。同参数缩短10-20%
回复 支持 1 反对 0

使用道具 举报

8

主题

79

帖子

788

积分

高级丹师

Rank: 5Rank: 5

积分
788

万事如意节日勋章

发表于 2024-5-17 00:41:36 | 显示全部楼层
实测,4060ti 16g - 神农版 - 416DF -快了4.1%

谢谢分享
回复 支持 1 反对 0

使用道具 举报

1

主题

26

帖子

478

积分

初级丹师

Rank: 3Rank: 3

积分
478

万事如意节日勋章

发表于 2024-5-17 00:29:45 | 显示全部楼层
谢谢楼主的无私奉献,我试试神农版能不能用!
回复 支持 1 反对 0

使用道具 举报

2

主题

70

帖子

727

积分

高级丹师

Rank: 5Rank: 5

积分
727

万事如意节日勋章

发表于 2024-5-15 23:31:39 | 显示全部楼层
试了一下,替换ice也是有效果的。开RG状态下4090提升10%左右
回复 支持 1 反对 0

使用道具 举报

0

主题

21

帖子

189

积分

高级丹童

Rank: 2

积分
189
发表于 2024-5-14 15:54:22 | 显示全部楼层
实测4060Ti-16g,训练提升20%的速度
回复 支持 1 反对 0

使用道具 举报

8

主题

88

帖子

8657

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8657
QQ
发表于 2024-5-13 22:55:04 | 显示全部楼层
4090提升明显,非常感谢楼主
回复 支持 1 反对 0

使用道具 举报

15

主题

366

帖子

3847

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3847

万事如意节日勋章

发表于 2024-5-13 10:33:27 | 显示全部楼层
我20系都更新到12.2了……
回复 支持 反对

使用道具 举报

4

主题

106

帖子

1901

积分

初级丹圣

Rank: 8Rank: 8

积分
1901
 楼主| 发表于 2024-5-13 10:41:48 | 显示全部楼层
DFLive 发表于 2024-5-13 10:33
我20系都更新到12.2了……

是一样单纯的替换文件就可以吗?我现在没有用2000系所以不太清楚,提升有多少呢?
回复 支持 反对

使用道具 举报

3

主题

493

帖子

4151

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4151

万事如意节日勋章

发表于 2024-5-13 11:28:29 | 显示全部楼层
3090实测确实有提速,楼主好人,以后吃泡面都有两份调料
回复 支持 1 反对 0

使用道具 举报

15

主题

366

帖子

3847

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3847

万事如意节日勋章

发表于 2024-5-13 11:32:52 | 显示全部楼层
yxyao 发表于 2024-5-13 10:41
是一样单纯的替换文件就可以吗?我现在没有用2000系所以不太清楚,提升有多少呢? ...

没关注,当时下载官网最新版本的,cuda跑满。
回复 支持 反对

使用道具 举报

0

主题

21

帖子

189

积分

高级丹童

Rank: 2

积分
189
发表于 2024-5-13 11:33:09 | 显示全部楼层
请问4060Ti 也能用你这人文件吗。直接替换就好,不用其他更改吗?
回复 支持 1 反对 0

使用道具 举报

1

主题

108

帖子

756

积分

高级丹师

Rank: 5Rank: 5

积分
756
发表于 2024-5-13 11:42:04 | 显示全部楼层
哇好东西感谢!
楼主有空教教怎么找新的cuda更新?
回复 支持 反对

使用道具 举报

35

主题

651

帖子

4185

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4185

万事如意节日勋章开心娱乐节日勋章

发表于 2024-5-13 12:09:37 | 显示全部楼层
感谢分享
回复

使用道具 举报

6

主题

207

帖子

1337

积分

初级丹圣

Rank: 8Rank: 8

积分
1337

万事如意节日勋章

发表于 2024-5-13 12:18:30 | 显示全部楼层
用conda把环境改一下,从3.6改成3.7,也会有一些提升
不要问我爱不爱你
我的余光中里都是你
回复 支持 1 反对 0

使用道具 举报

4

主题

106

帖子

1901

积分

初级丹圣

Rank: 8Rank: 8

积分
1901
 楼主| 发表于 2024-5-13 12:32:29 | 显示全部楼层
planenalp 发表于 2024-5-13 11:42
哇好东西感谢!
楼主有空教教怎么找新的cuda更新?

DFL的脚本没有指定cuda和cudnn版本,所以直接替换这两个文件夹的文件即可,cuda和cudnn可以从英伟达官网下载
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-5-26 07:34 , Processed in 0.120545 second(s), 13 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表