【神农汉化】RG | DML | FP16 非常重要的测评

Aufheben · 发表于 2024-7-4 09:46:22

开fp16非常容易爆丹，即使是在原设置上先跑了10000iter，然后只开fp16，别的设置不做修改。
大佬有什么建议吗？

还是比较馋fp16增大的那点bs

Lau9 · 发表于 2024-7-6 16:04:45

Aufheben 发表于 2024-7-4 09:46
开fp16非常容易爆丹，即使是在原设置上先跑了10000iter，然后只开fp16，别的设置不做修改。
大佬有什么建议 ...

凭良心来讲，建议放弃FP16尤其是对dfl算法来说没有好处

Aufheben · 发表于 2024-7-8 09:53:31

Lau9 发表于 2024-7-6 16:04
凭良心来讲，建议放弃FP16尤其是对dfl算法来说没有好处

好的

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）