请问lab和live运算时是单精度还是半精度？

鋼の煉金術師 · 发表于 2024-4-17 12:12:24

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

显卡双精度，单精度，半精度算力哪个权重最高？

Deannnn · 发表于 2024-4-17 14:47:07

别问，问就是4090，A100，H100，B200

鋼の煉金術師 · 发表于 2024-4-17 16:11:46

Deannnn 发表于 2024-4-17 14:47
别问，问就是4090，A100，H100，B200

那买不起4090，其他怎么选

Deannnn · 发表于 2024-4-17 17:04:09

鋼の煉金術師发表于 2024-4-17 16:11
那买不起4090，其他怎么选

参照显卡天梯图选

wtxx8888 · 发表于 2024-4-17 17:47:10

本帖最后由 wtxx8888 于 2024-4-17 17:50 编辑

鋼の煉金術師发表于 2024-4-17 16:11
那买不起4090，其他怎么选

看预算选呗，单精是通用的也是默认，至于半精与双精，那是后来才出现的。
比如半精，要求显卡为NV 1660及以上才具备，10系不具备运算半精的能力，所以10系开FP16，必然NAN或报错。

鋼の煉金術師 · 发表于 2024-4-17 21:48:16

wtxx8888 发表于 2024-4-17 17:47
看预算选呗，单精是通用的也是默认，至于半精与双精，那是后来才出现的。
比如半精，要求显卡为NV 1660及 ...

那我跑live直播应该按半精还是单精算力来选显卡？

wtxx8888 · 发表于 2024-4-17 22:26:33

本帖最后由 wtxx8888 于 2024-4-17 22:55 编辑

鋼の煉金術師发表于 2024-4-17 21:48
那我跑live直播应该按半精还是单精算力来选显卡？

默认就是单精FP32，所有不标注的浮点，全是FP32单精。
只有标注FP16的才会用半精，标注FP64的才能用双精。非标注一律是FP32（软件啥也不说的，一律是FP32单精度浮点）.
谁没事去看显卡写的算力？那都是理论值，科学家看的东西，所谓算力，看不见摸不着的玩意。。。
看媒体实际评测的性能，才是王道（天梯图）。

wuxr1111 · 发表于 2024-4-18 13:46:00

鋼の煉金術師发表于 2024-4-17 21:48
那我跑live直播应该按半精还是单精算力来选显卡？

一般来说英伟达显卡半精度是单精度的两倍，既然倍数是固定的，那就不用分别看显卡的性能了，只用比较不同显卡的单精度性能

鋼の煉金術師 · 发表于 2024-4-20 11:52:37

wuxr1111 发表于 2024-4-18 13:46
一般来说英伟达显卡半精度是单精度的两倍，既然倍数是固定的，那就不用分别看显卡的性能了，只用比较不同 ...

20系是1:2，30系和40系是1:1

DFLive · 发表于 2024-10-8 16:19:48

wtxx8888 发表于 2024-4-17 22:26
默认就是单精FP32，所有不标注的浮点，全是FP32单精。
只有标注FP16的才会用半精，标注FP64的才能用双精。 ...

请教一下，使用半精度训练DFL，效率会比单精度高吗？

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

请问lab和live运算时是单精度还是半精度？

万事如意节日勋章

真我风采勋章