3张4090为啥跑起来还不如一张快

熊熊 · 发表于 2024-4-10 15:20:01

星级打分

平均分:NAN 参与人数:0 我的评分:未评

3张4090为啥跑起来还不如一张快？刚买了3张4090猛禽都是pcie也都是X16的电源长城2600W的最高端的为何3张卡一起跑速度比一张慢四五倍的样子而且CPU占用率100% 有办法解决么

yxyao · 发表于 2024-4-10 16:17:42

没有nvlink的话多显卡比单显卡慢，因为他的batch 是平均分配到每个显卡的，对卡间通信要求很高.
但是三个4090可以跑三个模型各跑各的,速度不会变慢

熊熊 · 发表于 2024-4-10 16:35:25

yxyao 发表于 2024-4-10 16:17
没有nvlink的话多显卡比单显卡慢，因为他的batch 是平均分配到每个显卡的，对卡间通信要求很高.
但是三个40 ...

三个各自跑速度是正常的但是4090没有桥接口比较蛋疼还不如3090

yxyao · 发表于 2024-4-10 16:56:42

熊熊发表于 2024-4-10 16:35
三个各自跑速度是正常的但是4090没有桥接口比较蛋疼还不如3090

如果不跑大模型，可以三个单独跑，更能直接对比测试不同模型参数或数据集或训练方法的区别优劣。
如果想跑大模型，可以趁现在4090高价转手，买专业卡比如rtx A6000

丸丸 · 发表于 2024-4-10 20:06:38

因为能变快，专业卡怎么卖

sd4981480 · 发表于 2024-4-11 11:28:35

4090不是不支持交火吗？

menglue · 发表于 2024-4-11 23:54:11

哈哈，我最近就是在研究交火的问题！最后现在在思考买rtx 6000ada,还是l40,还是a100,还是h800! 单精度算力我还没研究清楚哪个性价比高！所以还没买，现在我电脑用的是4090d

熊熊 · 发表于 2024-5-27 16:18:43

sd4981480 发表于 2024-4-11 11:28
4090不是不支持交火吗？

3090以后都没有桥接口了

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）