bf16 和 fp16 及为什么更优？

为什么bf16更稳定—— 指数位的差异核心区别在于数据表示的范围。两者都是用16位来存储一个浮点数但分配方式不同fp16(半精度)1位符号 5位指数 10位尾数。它的指数范围较小能表示的最大数值约是65504。bf16(脑浮点数)1位符号 8位指数 7位尾数。它的指数范围与fp32(单精度) 完全相同因此能表示的最大数值约为3.39e38和fp32是一个量级。这个差异直接带来了bf16的优势无需损失缩放 (Loss Scaling)在fp16训练中梯度值很容易因为过小小于指数能表示的范围而“下溢”为0或者因为过大如 loss 突然 spike而“上溢”为inf。因此需要动态损失缩放将 loss 放大后再反向传播这增加了一个调参环节和计算开销。bf16因为拥有和fp32一样大的指数范围极少发生溢出问题所以训练过程更稳定你可以直接使用无需担心数值问题。精度换范围bf16的尾数位更少意味着它在表示小数的精确度上比fp16要粗糙一些。但在深度学习场景中梯度的大致方向和量级比绝对精度更重要模型对噪声也有一定的容忍度所以这种“精度换范围”的权衡在绝大多数大模型训练中是划算的。⚙️ 实际使用注意硬件支持是前提bf16需要支持 AVX-512 指令集或新一代 Tensor Core 的硬件如 A100、RTX 3090/4090 及更新的架构。在较旧的 GPU如 V100、T4上强行使用可能会导致性能回退甚至报错。权衡在某些对数值精度非常敏感的少数任务如某些数学推理中bf16的较低尾数精度可能导致结果轻微波动。但总体而言混合精度训练时硬件支持则优先选bf16已成为业界共识。 总结简单来说bf16就像一个为深度学习“特化”的精度格式它牺牲了不重要的精度换来了与fp32同等的稳定范围从而带来了更简化的训练流程无需 loss scaling和更少的数值问题。这使得它成为当前大模型训练中首选的混合精度格式。补充一点bf16和fp16除了范围不同它们的尾数精度和硬件支持也存在差异。如果你对浮点数表示和深度学习的精确数值优化感兴趣我们可以继续展开说说这些细节。