DFL升级CUDNN提升训练速度

yxyao

czwpding 发表于 2024-5-13 11:33
请问4060Ti 也能用你这人文件吗。直接替换就好，不用其他更改吗？

是的，直接替换文件就可以，你可以对比一下替换前后训练的迭代速度看看提升多少

yxyao

luckXu 发表于 2024-5-13 12:18
用conda把环境改一下，从3.6改成3.7，也会有一些提升

好的，有空试一下，谢谢

planenalp

yxyao 发表于 2024-5-13 12:32
DFL的脚本没有指定cuda和cudnn版本，所以直接替换这两个文件夹的文件即可，cuda和cudnn可以从英伟达官网 ...

我下了，但是只是一个exe，解压后目录很多很乱，搜现有相似文件名好像也只能搜到一个半个，所以不知道具体怎么提取对应需要的内容

在这里下载的
https://developer.nvidia.com/cud ... ;target_arch=x86_64

yxyao

planenalp 发表于 2024-5-13 12:42
我下了，但是只是一个exe，解压后目录很多很乱，搜现有相似文件名好像也只能搜到一个半个，所以不知道具 ...

英伟达官网下载的cuda安装完成后，NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin文件夹下c开头的.dll文件贴到DFL的CUDA文件夹中。cudnn的话我是从虚拟环境中复制过来的，猜测直接下载cudnn文件也是一样的。这是我的目录：\pytorch-2.1.2-py3.11_cuda12.1_cudnn8_0\Lib\site-packages\torch\lib这个文件夹下的.dll全贴到CUDNN文件夹下就行，cudnn这个文件夹下一般其实只贴c开头的就行，不过新版的可能还需要其他的dll，比如12.1就还需要zlibwapi.dll，不过也是cudnn自带的，所以直接贴过去就行

总之，不放心的话就把所有.dll都贴过去，虽然多几个G但是保险，只是有一些是用不到的

yxyao

planenalp 发表于 2024-5-13 12:42
我下了，但是只是一个exe，解压后目录很多很乱，搜现有相似文件名好像也只能搜到一个半个，所以不知道具 ...

晚些时候我再试一下手动下载cuda最新版12.4，到时候再把具体的方法交代一下

planenalp

yxyao 发表于 2024-5-13 12:50
英伟达官网下载的cuda安装完成后，NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin文件夹下c开头的.dll文件 ...

哦所以是要安装完之后再去安装了的新目录找对应文件？难怪我直接找安装包里面没有

planenalp

yxyao 发表于 2024-5-13 12:52
晚些时候我再试一下手动下载cuda最新版12.4，到时候再把具体的方法交代一下 ...

好啊等你试试再看有没有必要折腾哈哈，我记得滚石回帖说过不要手贱升级cuda，不过现在更新你的12.1用了一下好像没什么问题，3090速度提升也确实是4%-5%左右，其实这点提升约等于没有了大概只相当于每训练一个月可以省1天的程度，还要承担出现未知问题的可能，所以才想再新一点的cuda会不会效率更好，如果能像4090那样超过10%提升就爽了

yxyao

planenalp 发表于 2024-5-13 13:10
好啊等你试试再看有没有必要折腾哈哈，我记得滚石回帖说过不要手贱升级cuda，不过现在更新你的12.1用了一 ...

刚刚在4090上试了下12.4版本比12.1版本快了1%吧，聊胜于无，晚些时候发步骤

abudu1

楼主好心人  牛逼

yxyao

planenalp 发表于 2024-5-13 13:10
好啊等你试试再看有没有必要折腾哈哈，我记得滚石回帖说过不要手贱升级cuda，不过现在更新你的12.1用了一 ...

升级就是替换个文件，如果哪天发现有问题再把原版文件替换回来就行了，所以没啥代价