Transformer升级之路：18、RoPE的底数设计原则 - 科学空间|Scientific Spaces

该文章深入探讨了Transformer模型中RoPE（Rotary Positional Encoding）的复杂性，特别关注选择编码位置的底数原则。它挑战了在预训练期间使用固定底数的传统方法，并建议根据模型的头部大小和最大训练长度仔细选择底数。这篇文章因其针对优化RoPE以处理更长文本的实用指导而脱颖而出，这对于那些对微调Transformer模型的人来说是一个重要考虑因素。内容基于原始RoPE论文，深入理解了底数与训练长度之间的关系，对于希望通过长序列提升模型性能的机器学习从业者来说，这可能是一篇有价值的阅读材料。- RoPE中的频率计算公式为$\theta_i = b^{-2i/d}$，其中底数$b$默认值为10000。 - 目前Long Context的主流做法是先在$b=10000$上用短文本预训练，然后调大$b$并在长文本微调，以降低初始损失和加快收敛。 - 论文《Base of RoPE Bounds Context Length》指出更大的训练长度应该选择更大的底数$b$，与训练策略无关。 - RoPE具备远程衰减和语义聚合的理想性质。 - 通过数值求解和渐近估计，得出$b$的最小值为2L或者更大。 - 更大的文本长度选择更大的RoPE底数已成为训练人员的共识。 - 论文的核心贡献是澄清了“$b$应该随着$L$增大而增大”的结论及其原理。