双卡练丹

天光脑震荡

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

搞了两张2080Ti 22GB魔改卡，顺带把主板也换了，看看双卡炼一个丹会有什么提升！

先上参数，448的木兰丹，单卡状态下BS可开12，但炼丹的同时看电影有一定几率出现OOM，所以只能设置成11。

单张2080Ti魔改卡炼丹，显示是大概3.4秒一次迭代，实际一小时大概是900次迭代左右。

两张2080Ti魔改卡炼丹，同样是开BS11，显示是大概2.8秒一次迭代，相比于单卡效率提升了20%，跟某位坛友说的基本一致。

两张2080Ti魔改卡炼丹，可以有效提升BS，设置成20时训练出数值后几秒直接OOM，然后设置成18，稳定运行，估计设置到19还是可以的，但单卡极限是12，双卡也就18,19而已，并不是一加一等于二的结果，而且BS设置成18后，一次迭代用时4.5秒……
最后总结：用两张2080Ti魔改卡来炼丹还不如直接用一张3090或者4090，假设同样都是BS11，完成一次迭代的时间也比两张2080Ti魔改卡一起练要少不少的。买了两张二手2080Ti22GB，我后悔四了！！！

燕翎风

感谢分享，可以提前避坑了

lhs

不修改代码分布式训练有什么意义呢？