去FP8再回来：量化降低查准率/准确率对LLM训练稳定性的影响

在论文《回到FP8：量化减少精度对LLM训练稳定性的影响》中，作者深入探讨了使用减少精度浮点格式（特别是FP8）对训练大型语言模型（LLMs）稳定性的影响。随着行业寻求以经济高效的方式训练越来越大的模型而不影响性能，这项研究尤为及时和相关。该研究通过提出新的评估技术和一种新颖的度量标准来评估自回归语言模型中损失景观的锐度，这可能是该领域的重要贡献。研究结果表明，虽然FP8在计算效率方面具有潜在优势，但目前的FP8训练方法可能不够稳健，无法作为高精度格式的可行替代方案。这篇论文对机器学习领域的研究人员和实践者来说是必读的，特别是那些致力于开发和优化LLMs的人，因为它挑战了向低精度趋势的当前趋势，并鼓励更加深入地研究训练稳定性。- 大型语言模型（LLM）预训练的计算成本很高，引起了对减少精度的浮点表示的兴趣。 - BrainFloat16（BF16）精度已成为LLM训练的标准，并在最新的加速器中得到支持。 - 最新处理器中引入了FP8，但对FP16的经验表明其比BF16不稳定，引发了对FP8是否能成为LLM训练的经济选择的担忧。 - 降低精度的训练方案必须具有与高精度方案相似的稳定性和敏感性，才能成为经济有效的选择。 - 目前可用的FP8训练方法不够稳健，无法作为经济替代品。 - 提出了新的评估技术和衡量自回归语言模型中损失景观锐度的新指标。 - 通过模拟减少位数的浮点表示，分析了表示能力与训练稳定性之间的关系，旨在帮助未来的研究。