请问lab和live运算时是单精度还是半精度？

鋼の煉金術師

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

显卡双精度，单精度，半精度算力哪个权重最高？

Deannnn

别问，问就是4090，A100，H100，B200

鋼の煉金術師

Deannnn 发表于 2024-4-17 14:47
别问，问就是4090，A100，H100，B200

那买不起4090，其他怎么选

Deannnn

鋼の煉金術師 发表于 2024-4-17 16:11
那买不起4090，其他怎么选

参照显卡天梯图选

wtxx8888

鋼の煉金術師 发表于 2024-4-17 16:11
那买不起4090，其他怎么选

看预算选呗，单精是通用的也是默认，至于半精与双精，那是后来才出现的。
比如半精，要求显卡为NV 1660及以上才具备，10系不具备运算半精的能力，所以10系开FP16，必然NAN或报错。

鋼の煉金術師

wtxx8888 发表于 2024-4-17 17:47
看预算选呗，单精是通用的也是默认，至于半精与双精，那是后来才出现的。
比如半精，要求显卡为NV 1660及 ...

那我跑live直播应该按半精还是单精算力来选显卡？

wtxx8888

鋼の煉金術師 发表于 2024-4-17 21:48
那我跑live直播应该按半精还是单精算力来选显卡？

默认就是单精FP32，所有不标注的浮点，全是FP32单精。
只有标注FP16的才会用半精，标注FP64的才能用双精。非标注一律是FP32（软件啥也不说的，一律是FP32单精度浮点）.
谁没事去看显卡写的算力？那都是理论值，科学家看的东西，所谓算力，看不见摸不着的玩意。。。
看媒体实际评测的性能，才是王道（天梯图）。

wuxr1111

鋼の煉金術師 发表于 2024-4-17 21:48
那我跑live直播应该按半精还是单精算力来选显卡？

一般来说英伟达显卡半精度是单精度的两倍，既然倍数是固定的，那就不用分别看显卡的性能了，只用比较不同显卡的单精度性能

鋼の煉金術師

wuxr1111 发表于 2024-4-18 13:46
一般来说英伟达显卡半精度是单精度的两倍，既然倍数是固定的，那就不用分别看显卡的性能了，只用比较不同 ...

20系是1:2，30系和40系是1:1

DFLive

wtxx8888 发表于 2024-4-17 22:26
默认就是单精FP32，所有不标注的浮点，全是FP32单精。
只有标注FP16的才会用半精，标注FP64的才能用双精。 ...

请教一下，使用半精度训练DFL，效率会比单精度高吗？