DFL升级CUDNN提升训练速度

yxyao

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

手动将DFL内置的CUDNN更新为CUDNN8.9.7 for CUDA11，经过对比测试，训练速度确实得到了提升。
我在4090、3080 10G和2080ti 22G三台机器上进行了升级前后的对比测试，4090训练速度提升13.2%，3080 10G和2080ti 22G训练速度均提升了4.5%
升级cudnn确实是提高了显卡利用率。我将cudnn8.9.7打包到网盘中，同时备份了DFL原版的cudnn以防万一。
我还尝试了最新的CUDNN9，但是总是运行不成功。此外尝试了升级CUDA版本包括11.6，11.8，12.1，12.4，也都没有任何作用。不知道有无大佬有相关方面的经验。

注意：仅适用于RTX3000版本

使用方法：下载文件：CUDNN_仅适用RTX3000版本/CUDNN8.9.7/CUDNN.7z，解压后覆盖到_internal文件夹即可。
当然，如果自己想更换其他版本的CUDNN，可直接访问英伟达官网下载，解压后把bin文件夹中的dll文件覆盖到DFL的CUDNN文件夹中即可。操作前一定备份原版文件，以防万一。

wtxx8888

cfmmx 发表于 2024-5-13 19:32
楼主说的对，仅适用于RTX3000版本，不能用于DFL_RTX2080Ti，已经论证，期待DFL_RTX2080Ti能用的版本。 ...

用2080版本的推荐你别动，反正我的1660T 在2080版可以开BS 10迭代0.7S，同丹到30版本下BS 9都炸，就算不炸BS 9迭代才0.78S.不是新显卡，别用30版。

lxx1974

多谢分享，不管是否有提升，都感谢这样的无私精神

ibaoger

RTX 4070 提升了15%，感谢感谢

陆心远

4060ti 16g，快了14.8%

ahui1125

十分感谢，提升很明显。。同参数缩短10-20%

毕加索

实测，4060ti 16g - 神农版 - 416DF -快了4.1%

谢谢分享

伽利略

谢谢楼主的无私奉献，我试试神农版能不能用！

长大后才知道

试了一下，替换ice也是有效果的。开RG状态下4090提升10%左右

czwpding

实测4060Ti-16g，训练提升20%的速度

野生炼丹师

4090提升明显，非常感谢楼主

DFLive

我20系都更新到12.2了……

yxyao

DFLive 发表于 2024-5-13 10:33
我20系都更新到12.2了……

是一样单纯的替换文件就可以吗？我现在没有用2000系所以不太清楚，提升有多少呢？

tmpuser_01

3090实测确实有提速,楼主好人,以后吃泡面都有两份调料

DFLive

yxyao 发表于 2024-5-13 10:41
是一样单纯的替换文件就可以吗？我现在没有用2000系所以不太清楚，提升有多少呢？ ...

没关注，当时下载官网最新版本的，cuda跑满。

czwpding

请问4060Ti 也能用你这人文件吗。直接替换就好，不用其他更改吗？

planenalp

哇好东西感谢！
楼主有空教教怎么找新的cuda更新？

WaveBedo

感谢分享

luckXu

用conda把环境改一下，从3.6改成3.7，也会有一些提升

yxyao

planenalp 发表于 2024-5-13 11:42
哇好东西感谢！
楼主有空教教怎么找新的cuda更新？

DFL的脚本没有指定cuda和cudnn版本，所以直接替换这两个文件夹的文件即可，cuda和cudnn可以从英伟达官网下载