dfl能用双卡吗?

fengbuzhi · 发表于 2023-4-25 21:24:28

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

如果用双卡,训练速度会变快吗?使用更大的batch_size 显存不够了会使用第二张显卡的显存吗?最近想组台炼丹机器,不知道dfl在双卡上的表现,求大佬们讲解一下,.

oyqm · 发表于 2023-4-26 05:14:38

同问，帮顶，我也想组一台多张Tesla学习卡来用，不知道支持不支持，哪位懂得大佬来说说

18858625713@163 · 发表于 2023-4-27 02:14:16

提示: 作者被禁止或删除内容自动屏蔽

oyqm · 发表于 2023-4-27 08:15:39

18858625713@163 发表于 2023-4-27 02:14
只要你能交火那就可以一起运算，没毛病，交火方法百度b站都可以搜到

如果不交火呢，有些专业的训练卡没有交火接口，插上多张能不能调取一起训练

fengbuzhi · 发表于 2023-4-27 21:05:06

18858625713@163 发表于 2023-4-27 02:14
只要你能交火那就可以一起运算，没毛病，交火方法百度b站都可以搜到

意思是用nvlink连接?求解答

18858625713@163 · 发表于 2023-4-28 13:26:29

提示: 作者被禁止或删除内容自动屏蔽

18858625713@163 · 发表于 2023-4-28 13:27:39

提示: 作者被禁止或删除内容自动屏蔽

denvor · 发表于 2023-4-28 14:29:34

自己没用过，以前看论坛里有说可以直接用。
例如提示 0 是cpu , 1 是 3090,2 是4090 的时候，用两张卡就打 “1,2” 就行了。

fengbuzhi · 发表于 2023-4-29 20:28:43

denvor 发表于 2023-4-28 14:29
自己没用过，以前看论坛里有说可以直接用。
例如提示 0 是cpu , 1 是 3090,2 是4090 的时候，用两张卡就打 ...

明白了.

axin709 · 发表于 2023-4-30 08:48:38

fengbuzhi 发表于 2023-4-29 20:28
明白了.

哥们，我看到坛主发的教学贴里提到的一段，供你参考。我理解的时需要能交火的两张才可以。

2. 选择训练用GPU
Choose one or several GPU idxs (separated by comma).选择一个或多个GPU序号，用英文逗号隔开
[CPU] : CPU
[0] : GeForce RTX 3090

[0] Which GPU indexes to choose? :请输入GPU序号

介绍：第一次运行时首先会出现上面这段文字。要求你输入用于训练模型的GPU序号。可支持的序号已经给你列出来了，输入CPU就使用CPU训练，输入0就使用你的第一张显卡训练。土豪有多张显卡的话输入0,1,2,3.....
问句前面的[0]代表默认值，即直接按回车会采用的值
推荐值：推荐只用编号为0的GPU训练。CPU速度太慢，直接放弃。有多张GPU的话，卡间通讯会消耗大量时间，如无必要不推荐多卡同时训练。

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）