混合精度训练的问题

day270010678

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

混合精度训练的时候，如果用fp16，则会出现边界爆炸的问题，我刚才用这里的一个模型，训练的166多万迭代，维度384的，但是转换后训练就爆炸，检测，是混合精度导致，他的inter输出范围大于fp16的 上限 65504，则必然爆炸，大家是怎么解决的，是跨精度续训，还是加固定上界 clamp，我估计加clamp也不能治本，我想到的治本的只有跨精度训练法子了，你们是怎么解决的。

675966766

快炸的时候关掉混合精度

wtxx8888

这不是明摆的事吗？存盘格式是固定的FP32。必须自己手动，做跨精度处理。
（BF16会自动处理，FP16 只能靠自己写全程）