用的原版DFL，想升级CUDA和cudnn，来提升效率和效果

Dujy

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

因为是原版的11的DFL，到现在为止CUDA已经多次更新，效率和效果都有很大提升，懒得换版本了，有没有大能教教怎么弄

wtxx8888

CUDA加不了效率，别人早就测过了。
只有CUDNN可以升到8.9.7.    会提升30系跟40系的效率。（20系也会加丁点，但要牺牲BS，20版的BS，开的比30版高1-2，所以，并不是版本越高，就一定，会比低版本强）
（这个就是极限，受限于原版的tensorflow-gpu==2.4.0，2.4.0它就支持CUDNN到8.X）
https://dfldata.cc/forum.php?mod=viewthread&tid=18328

Dujy

wtxx8888 发表于 2024-12-30 16:01
CUDA加不了效率，别人早就测过了。
只有CUDNN可以升到8.9.7.    会提升30系跟40系的效率。（20系也会加丁点 ...

我去，茅塞顿开啊，一张图全解释了

Dujy

wtxx8888 发表于 2024-12-30 16:01
CUDA加不了效率，别人早就测过了。
只有CUDNN可以升到8.9.7.    会提升30系跟40系的效率。（20系也会加丁点 ...

还有个问题，原版的tensorflow-gpu==2.4.0有办法提升吗？或者有提升后的DFL版本吗？

wtxx8888

Dujy 发表于 2024-12-30 16:52
还有个问题，原版的tensorflow-gpu==2.4.0有办法提升吗？或者有提升后的DFL版本吗？
...

升不了，升了模型的数据会变，模型就回不到原版了。
除非你有精力，一个版本一个版本的，去测试一下。（代码也可能要改）

Dujy

wtxx8888 发表于 2024-12-30 16:55
升不了，升了模型的数据会变，模型就回不到原版了。

驱动是底层，确实要从头开始，难搞，现在只是想着有个正常迭代的DFL版本，就是架构和神经能够正常升级，识别率效果也就能大幅提升，但凡能够兼容低版本的模型就行，从头练也能接受，现在魔改的太多搞不清

wtxx8888

Dujy 发表于 2024-12-30 17:01
驱动是底层，确实要从头开始，难搞，现在只是想着有个正常迭代的DFL版本，就是架构和神经能够正常升级， ...

用我的合体版，30系是升了CUDNN的（8.9.7这是原版的极限）。其他都还是原版的结构，包括模型。
https://dfldata.cc/forum.php?mod=viewthread&tid=19558

框架，就没有可以随便升级的。会改变数据的结构，或者需要改写部分源代码。

ctrobot

wtxx8888 发表于 2024-12-30 17:07
用我的合体版，30系是升了CUDNN的（8.9.7这是原版的极限）。其他都还是原版的结构，包括模型。
https://df ...

大佬能不能出一个20190830版本的RTX30系列显卡能用的版本？那个版本的SAE模型很好用，比现在的模型更像SRC。因为SAE模型极易崩，所以必须开启Gradient clipping，当时只有CUDA版本的DFL才有Gradient clipping选项，这种CUDA版本的DFL在目前的RTX30系或40系显卡上都不能跑。非常感谢！

ctrobot

wtxx8888 发表于 2024-12-30 17:07
用我的合体版，30系是升了CUDNN的（8.9.7这是原版的极限）。其他都还是原版的结构，包括模型。
https://df ...

或者把20190830的SAE模型整合进您的合体版中？，这样就多了一种模型可以选择。SAE模型真的超级像SRC的，比现在SAEHD模型的DF模型都像。

wtxx8888

ctrobot 发表于 2025-1-1 14:56
或者把20190830的SAE模型整合进您的合体版中？，这样就多了一种模型可以选择。SAE模型真的超级像SRC ...

。。。SAEHD跟SAE的差别，在于模型架构的U参数，如DF-UD就是SAEHD（实际上，已经没有真正意义上的SAEHD了，U参==SAEUHD，是轻量级的HD），DF-D这就是SAE（没有U参）。
哪个版，这都是一样用的，看你自己，架构是否加了U参而已。。。

而且头一次听说，SAE比SAEHD像。。。
你应该说反了吧，你看现在的新丹，还有不带U的吗？
都是SAEHD，这足以证明SAEHD（架构带U），才是更像的那个。
你所谓的像，估计是DF的真脸吧，这个只有DF架构可以开，LIAE架构开不了真脸。

所以，我愣是没看懂，你指的到底是啥？
DFL20版之所以存在，是因为20版的低版本CUDNN，可以多开1-2个BS。
N卡，是都可以用30版的，但10系与20系，在30版新版的CUDNN下，可以开的BS，比20版要少1-2个。
比如我的1660T，20版可以开10个BS，并且稳定。
这个丹，转到30版下，开9个BS都会炸