撞车DeepSeek NSA，Kimi杨植麟署名的新注意力架构MoBA发布，代码也公开

在长文本语言模型领域，出现了两种新的注意力机制：DeepSeek的NSA和MoonshotAI的MoBA。后者MoBA特别引人注目，因为它创新地将专家混合（MoE）原则应用于Transformer模型的注意力机制中。这使得MoBA能够通过选择性地关注相关的键-值块来高效处理长序列，平衡了计算成本和性能之间的关系。MoBA的独特之处在于其能够在全注意力和稀疏注意力模式之间切换，使其在处理长文档的任务中高度适应和高效。它的性能与全注意力机制相当，但显著降低了计算复杂性，提供高达16倍的更快处理速度。这一突破可能会改变各种人工智能应用中处理极长文本的方式。如果您对语言模型效率的前沿感兴趣，MoBA的发布和其开源代码绝对值得您关注。- DeepSeek发布了改进版的注意力机制NSA，创始人兼CEO梁文锋参与 - 月之暗面发布了类似的论文，创始人兼CEO杨植麟是署名作者之一 - 月之暗面的论文提出了名为MoBA的注意力机制，通过混合专家原理应用于注意力机制 - MoBA可以在完全注意力和稀疏注意力模式之间切换，提高模型性能和效率 - MoBA通过将上下文划分为块并采用门控机制选择性地将查询token路由到最相关的块，解决了传统注意力机制的计算效率低下的问题 - MoBA具有长上下文可扩展性，能够处理长序列任务 - MoBA与Full Attention的无缝过渡可以成为高效长上下文预训练的解决方案 - MoBA比Full Attention模型快6.5倍，同时保持性能提升了效率