混合精度训练的问题

iyuandou

day270010678 发表于 2026-11-6 17:44
没有原因，他就是纯粹偷懒，逐层验证，有些根本不必用fp32，只有特殊层才需要。当然也许跟他的逻辑有关， ...

那你用FP16或BF16把细节练出来

day270010678

iyuandou 发表于 2026-11-10 23:38
那你用FP16或BF16把细节练出来

细节，跟精度没关系，别说fp16，你就算tf64，也训练不出细节，你所谓的细节仅仅是五官加轮廓的细节，这些或许通过训练改善，但是跟精度没关系，测试loss下你就知道了，他们的损失不会产生任何质变的影响，只要逐层的精度做的对就行了。