能多卡同时炼丹吗比如我想弄8卡3090 24G的平台来炼丹，是...

baidus12 · 发表于 2023-7-12 20:03:20

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

能多卡同时炼丹吗比如我想弄8卡3090 24G的平台来炼丹，是否可以串联一起炼丹呢

qdpushaver · 发表于 2023-7-12 23:00:38

这个效率可能不高，我记得在某个精华帖里看到过，多卡炼丹，卡间通讯会成为瓶颈，拉低整体效率。
推测是，论单位价格算力，专业卡不如旗舰游戏卡，但是老黄限制了游戏卡的多卡协作，防止抢了大模型的专业卡需求。

lyjly · 发表于 2023-7-12 23:16:42

可以，不过效果是1加1=1.2~1.4左右

qas455191212 · 发表于 2023-7-13 02:23:04

限制了好像

405408837 · 发表于 2023-7-13 05:20:55

你cpu给力可以同时练不同的丹，不能串联练一个丹

kanbumingbai · 发表于 2023-7-13 23:47:58

可以，训练的时候有多卡选择，你可以选择用哪个或者哪些个训练哪个，就是说你可以这边用卡A打游戏，那边用卡B和C还有D训练一个模型，然后EF训练另一个，多卡的好处是，BS可以开很大，假如我是8G卡，那么在比较标准的训练参数下，我BS可以开到16，两张卡开到32，3张就是48，我的经验是物理显存的两倍，迭代速度好像变慢了，loss下降我觉得变快了，关于BS大小吧，我个人觉得得看SRC和DST的数据量，也有前辈说先大后小或者先小后大，我也没啥动力折腾哈。

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）