1.5针技术报告：提前几天，而不是几个月——你的语言模型在高质量数据上茁壮成长

“1.5-Pints技术报告”介绍了一种开创性的预训练语言模型方法，将训练时间从几个月缩短到仅9天。这种效率的飞跃归功于一个精心策划的570亿个标记数据集，强调解释性和类似教科书的内容，以增强推理和逻辑推断能力。这个名为“1.5-Pints”的模型不仅加快了训练过程，而且在作为指令跟随助手方面的性能上超越了苹果的OpenELM和微软的Phi。报告详细介绍了使用修改后的Mistral分词器和Llama-2架构，借鉴了StableLM、TinyLlama和Huggingface Zephyr的方法。这项研究是朝着使AI预训练更具可访问性和环保性迈出的一步，研究结果和资源均已开源。该模型有两个版本，满足不同上下文窗口需求。对于对AI进展和高效模型训练感兴趣的人来说，这份报告是一篇引人入胜的阅读材料。- 一种名为"1.5-Pints"的高效预训练语言模型方法 - 仅需9天完成预训练，胜过现有模型 - 使用570亿个标记的预训练数据集 - 采用自动化工作流程和人工审核的混合方法 - 数据集选择注重内容解释性和类教科书特点 - 采用修改过的Mistral分词器和Llama-2架构 - 使用StableLM、TinyLlama和Huggingface Zephyr的训练方法 - 通过专注于数据质量而不是数量减少训练时间和资源需求 - 开源研究结果和资源 - 1.5-Pints模型有2K和16K上下文窗口两个版本可供选择