DFL升级CUDNN提升训练速度

planenalp

yxyao 发表于 2024-5-13 15:16
刚刚在4090上试了下12.4版本比12.1版本快了1%吧，聊胜于无，晚些时候发步骤

说明还能有提升，太好了，期待~

planenalp

yxyao 发表于 2024-5-13 15:20
升级就是替换个文件，如果哪天发现有问题再把原版文件替换回来就行了，所以没啥代价 ...

其实我担心的是会不会对模型本身造成什么暗病，而不是程序，不过这些都要经过时间验证才知道了

yxyao

planenalp 发表于 2024-5-13 15:32
其实我担心的是会不会对模型本身造成什么暗病，而不是程序，不过这些都要经过时间验证才知道了 ...

理论上cuda版本不会影响算法本身，DFL代码没改，只要新cuda上能跑，就不会有问题。

planenalp

yxyao 发表于 2024-5-13 16:58
理论上cuda版本不会影响算法本身，DFL代码没改，只要新cuda上能跑，就不会有问题。 ...

那就放心了，期待你的12.4教程

yxyao

planenalp 发表于 2024-5-13 17:28
那就放心了，期待你的12.4教程

我刚刚做了比较详尽的对比测试。发现其实速度提升完全是因为CUDNN的升级。CUDA的升级并没有什么用，DFL还是用的老CUDA在跑。尝试了用cuda11.6和cuda11.8覆盖，也没有任何速度提升。但是CUDNN确实能带来速度提升，从原版CUDNN升级到8.9.7版，2080ti、3080提升4.5%速度，4090提升13.2%速度。已经更新了主贴内容，可以看一下。

lxx1974

多谢分享，不管是否有提升，都感谢这样的无私精神

planenalp

yxyao 发表于 2024-5-13 19:03
我刚刚做了比较详尽的对比测试。发现其实速度提升完全是因为CUDNN的升级。CUDA的升级并没有什么用，DFL还 ...

原来如此，谢谢更新
你修改帖子之前网盘提供的版本是8.9.7吗？

yxyao

planenalp 发表于 2024-5-13 19:25
原来如此，谢谢更新
你修改帖子之前网盘提供的版本是8.9.7吗？

网盘文件和帖子一同更新了，网盘文件现在只有CUDNN8.9.7，没有cuda替换了，尽管放心下载

cfmmx

楼主说的对，仅适用于RTX3000版本，不能用于DFL_RTX2080Ti，已经论证，期待DFL_RTX2080Ti能用的版本。

planenalp

yxyao 发表于 2024-5-13 19:30
网盘文件和帖子一同更新了，网盘文件现在只有CUDNN8.9.7，没有cuda替换了，尽管放心下载 ...

嗯明白，只是想着如果是同一个版本就懒得停下来再换一次，不过保险起见cuda最好还是换回去反正都要停一下就没所谓了