大神帮解答下fp32和tf32

menglue

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

有谁知道me版或者ICE模型训练，默认支持TF32张量核心吗？如果只默认支持fp32单精度，那我买h800或者a100就亏大了！

w7315511

训练大模型和dfl炼丹的小模型应该不一样吧
me版或者ICE应该都和原版一样主要使用单精度训练的吧
你没在ICE群吗，可以自己问问。经常看到他们搞H100什么的专业卡，也不一定是炼丹
不过你看起来又不差钱，什么显卡都有，可以尝试用专业卡和游戏卡炼几天对比一下。
最好的办法就是请教一下，人工智能大(小）模型训练相关专业人员（问问身边朋友）...