MAP-Neo:高效透明双语大型语言模型系列

这篇论文介绍了MAP-Neo，一个拥有70亿参数的新型双语大型语言模型（LLM），以其透明度和高性能脱颖而出。与像GPT和Claude这样的专有模型不同，MAP-Neo的创建者已完全开源了该模型，包括其预训练语料库、数据清洗流程、检查点以及训练/评估框架。这种透明度对于研究社区来说是一个重要的进步，可以更深入地了解LLM的能力、偏见和风险。MAP-Neo还值得注意的是，它是第一个完全开源的双语LLM，能与最先进的LLM相媲美。对于对LLM感兴趣的研究人员和开发人员，特别是那些专注于双语应用的人来说，MAP-Neo代表了一个有价值且易于获取的资源，可能会激发该领域的进一步创新。- 大型语言模型（LLMs）在不同任务上取得了巨大进展 - 竞争激烈的模型（如GPT、Gemini和Claude）由于商业利益而未公开训练细节 - 最近，许多机构开源了一些强大的LLMs，如LLaMA-3，与闭源LLMs相当 - 真正开源的LLMs（如Pythia、Amber、OLMo）提供了更多细节，如预训练语料库和训练代码 - 这些模型大大推进了对这些大型模型的科学研究，包括它们的优势、弱点、偏见和风险 - 现有的真正开源的LLMs在推理、知识和编码任务上仍然不如最先进的LLMs - MAP-Neo是一个高性能和透明的双语语言模型，具有70亿参数，从头开始训练，使用45万亿高质量标记 - MAP-Neo是第一个完全开源的双语LLM，与现有最先进的LLMs相比具有可比的性能 - 所有MAP-Neo的细节都被开源，包括预训练语料库、数据清理流程、检查点和优化的训练/评估框架 - 希望MAP-Neo能够增强和加强开放研究社区，并促进LLMs的进一步改进