MiniMax-Text-01 - 一个拥有4560亿总参数（459亿被激活）的强大新MoE语言模型

MiniMax-Text-01是一款尖端的语言模型，拥有惊人的4560亿参数，每个处理的标记激活了459亿。该模型以其融合不同类型的注意机制和专家混合方法的混合架构脱颖而出，使其能够处理异常长的上下文——在训练期间可达100万个标记，在推断期间可达400万个标记。它在各种学术基准测试中的表现已经得到证实，被认为是自然语言处理领域的顶尖模型。值得注意的是，它采用了先进的并行策略和计算-通信重叠方法，在这一领域具有创新性。对于那些对人工智能和语言建模的最新进展感兴趣的人来说，MiniMax-Text-01代表了一大步向前，其详细信息可通过HuggingFace和专门的网站等各种平台获得。- MiniMax-Text-01是一个强大的语言模型，具有4560亿个总参数，每个标记激活的参数为459亿个。 - MiniMax-Text-01采用了混合架构，结合了Lightning Attention、Softmax Attention和Mixture-of-Experts（MoE）来发挥模型的长上下文能力。 - MiniMax-Text-01的训练上下文长度扩展到100万个标记，并且在推理过程中可以处理高达400万个标记的上下文。 - MiniMax-Text-01在各种学术基准测试中展示了顶级模型的性能。 - MiniMax-Text-01的模型架构包括总参数4560亿、每个标记激活参数459亿、80个层、64个注意力头、128维注意力头维度、32个专家、9216维专家隐藏维度、Top-2路由策略、6144维隐藏大小和200,064个词汇大小。 - MiniMax-Text-01的位置编码采用Rotary Position Embedding（RoPE）方法，应用于注意力头维度的一半，基频为10,000,000。 - MiniMax-Text-01的相关链接包括博客文章、HuggingFace页面、在线试用、Github和官方主页。 - MiniMax-Text-01还发布了一个视觉模型。