DFL升级CUDNN提升训练速度

yxyao · 发表于 2024-5-13 10:13:05

星级打分

1
2
3
4
5

平均分:5 参与人数:1 我的评分:未评

本帖最后由 yxyao 于 2024-5-13 23:51 编辑

手动将DFL内置的CUDNN更新为CUDNN8.9.7 for CUDA11，经过对比测试，训练速度确实得到了提升。
我在4090、3080 10G和2080ti 22G三台机器上进行了升级前后的对比测试，4090训练速度提升13.2%，3080 10G和2080ti 22G训练速度均提升了4.5%
升级cudnn确实是提高了显卡利用率。我将cudnn8.9.7打包到网盘中，同时备份了DFL原版的cudnn以防万一。
我还尝试了最新的CUDNN9，但是总是运行不成功。此外尝试了升级CUDA版本包括11.6，11.8，12.1，12.4，也都没有任何作用。不知道有无大佬有相关方面的经验。

注意：仅适用于RTX3000版本

使用方法：下载文件：CUDNN_仅适用RTX3000版本/CUDNN8.9.7/CUDNN.7z，解压后覆盖到_internal文件夹即可。
当然，如果自己想更换其他版本的CUDNN，可直接访问英伟达官网下载，解压后把bin文件夹中的dll文件覆盖到DFL的CUDNN文件夹中即可。操作前一定备份原版文件，以防万一。

wtxx8888 · 发表于 2024-5-13 22:55:51

本帖最后由 wtxx8888 于 2024-5-13 22:57 编辑

cfmmx 发表于 2024-5-13 19:32
楼主说的对，仅适用于RTX3000版本，不能用于DFL_RTX2080Ti，已经论证，期待DFL_RTX2080Ti能用的版本。 ...

用2080版本的推荐你别动，反正我的1660T 在2080版可以开BS 10迭代0.7S，同丹到30版本下BS 9都炸，就算不炸BS 9迭代才0.78S.不是新显卡，别用30版。

lxx1974 · 发表于 2024-5-13 19:10:25

多谢分享，不管是否有提升，都感谢这样的无私精神

yuyuggg · 发表于 2024-9-1 03:14:40

4060提升约15%

ibaoger · 发表于 2024-5-23 16:01:26

RTX 4070 提升了15%，感谢感谢

陆心远 · 发表于 2024-5-22 09:04:08

4060ti 16g，快了14.8%

ahui1125 · 发表于 2024-5-17 04:54:44

十分感谢，提升很明显。。同参数缩短10-20%

毕加索 · 发表于 2024-5-17 00:41:36

实测，4060ti 16g - 神农版 - 416DF -快了4.1%

谢谢分享

伽利略 · 发表于 2024-5-17 00:29:45

谢谢楼主的无私奉献，我试试神农版能不能用！

长大后才知道 · 发表于 2024-5-15 23:31:39

试了一下，替换ice也是有效果的。开RG状态下4090提升10%左右

野生炼丹师 · 发表于 2024-5-13 22:55:04

4090提升明显，非常感谢楼主

DFLive · 发表于 2024-5-13 10:33:27

我20系都更新到12.2了……

yxyao · 发表于 2024-5-13 10:41:48

DFLive 发表于 2024-5-13 10:33
我20系都更新到12.2了……

是一样单纯的替换文件就可以吗？我现在没有用2000系所以不太清楚，提升有多少呢？

tmpuser_01 · 发表于 2024-5-13 11:28:29

3090实测确实有提速,楼主好人,以后吃泡面都有两份调料

DFLive · 发表于 2024-5-13 11:32:52

yxyao 发表于 2024-5-13 10:41
是一样单纯的替换文件就可以吗？我现在没有用2000系所以不太清楚，提升有多少呢？ ...

没关注，当时下载官网最新版本的，cuda跑满。

planenalp · 发表于 2024-5-13 11:42:04

哇好东西感谢！
楼主有空教教怎么找新的cuda更新？

WaveBedo · 发表于 2024-5-13 12:09:37

感谢分享

luckXu · 发表于 2024-5-13 12:18:30

用conda把环境改一下，从3.6改成3.7，也会有一些提升

yxyao · 发表于 2024-5-13 12:32:29

planenalp 发表于 2024-5-13 11:42
哇好东西感谢！
楼主有空教教怎么找新的cuda更新？

DFL的脚本没有指定cuda和cudnn版本，所以直接替换这两个文件夹的文件即可，cuda和cudnn可以从英伟达官网下载

yxyao · 发表于 2024-5-13 12:33:36

DFLive 发表于 2024-5-13 11:32
没关注，当时下载官网最新版本的，cuda跑满。

好的，晚些时候试一下，谢谢

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

DFL升级CUDNN提升训练速度

评分

真我风采勋章

万事如意节日勋章

开心娱乐节日勋章