不同显卡炼丹效率是不是只对比单次迭代就行了

w7315511

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

如题：炼丹效率是不是只对比单次迭代就行了。还是说有其他考虑方面
比如：显卡系列10-20&30-40系列，或者CPU内存其他电脑硬件相关
再比如：计算卡-和游戏卡。单精度和半精度和双精度和混合精度什么的...
如果相同模型相同参数相同素材...能不能只通过单次迭代速度来区分效率
如果可以的话，经过不同显卡的对比测试就能得出不同的结果
知道那张卡最快，那张卡最合适自己，那张卡最划算就用那张卡训练

还有一个问题就是显卡的显存大小，和显卡算力之间如何平衡
如果不开大BS的话，是不是选择算力更好的显卡训练有优势
大BS究竟能提升模型哪方面能力，价值是否高过显卡算力的提升
BS是否不宜过大，官方推荐8-16就行，还是说开到显存爆炸再调低

wtxx8888

yxyao 发表于 2024-5-30 11:25
这个表格里2080ti和4090差距太大了，实测也就2.5倍左右的速度差距（当然是控制变量对比，所有参数完全相 ...

CPU也有影响，比如同CPU下，关睿频与不关睿频，就有速度差距。
CUDA与CUDNN版本，也有很大的影响，就好比我的破显卡，20系版的DFL，要比30版的，多开BS二，速度还快挺多
数据不过是理想值罢了，就是个大概。

天光脑震荡

感觉现在炼丹最划算就是魔改的2080Ti，要AI有AI，要大显存有大显存，就是质量和寿命都无法保证

w7315511

天光脑震荡 发表于 2024-5-29 22:58
感觉现在炼丹最划算就是魔改的2080Ti，要AI有AI，要大显存有大显存，就是质量和寿命都无法保证 ...

魔改的3080都有了不过，还是建议找靠谱的买3090，毕竟原装货显存也大

天光脑震荡

w7315511 发表于 2024-5-29 23:01
魔改的3080都有了不过，还是建议找靠谱的买3090，毕竟原装货显存也大

魔改3080 20GB，差不多要五千块，顶得上两块魔改2080Ti了，而且性能提升不大，3090也考虑过，但2080Ti魔改卡实在是太香了

wtxx8888

如果只用DFL作为对比的话，看单精算力即可。

w7315511

wtxx8888 发表于 2024-5-30 02:04
如果只用DFL作为对比的话，看单精算力即可。

好的，回头租俩小时云GPU看看这个单精度排名靠不靠谱

GJG666

w7315511 发表于 2024-5-30 03:09
好的，回头租俩小时云GPU看看这个单精度排名靠不靠谱

有条件可以对比下，记得在这里更新下对比结果

w7315511

GJG666 发表于 2024-5-30 04:12
有条件可以对比下，记得在这里更新下对比结果

几块钱就可以租GPU了，你也可以自己测试..其实不用测试大概都知道结果了。
炼丹速度和显卡性能肯定不是100%成正比例的。
主要的问题到底是不是按照单次迭代时间看效果
有没有其他看不见的玄学在里面。

cfmmx

wtxx8888 发表于 2024-5-30 02:04
如果只用DFL作为对比的话，看单精算力即可。

再把价格写上就更完美了

yxyao

wtxx8888 发表于 2024-5-30 02:04
如果只用DFL作为对比的话，看单精算力即可。

这个表格里2080ti和4090差距太大了，实测也就2.5倍左右的速度差距（当然是控制变量对比，所有参数完全相同）