DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升

DeepSeek团队通过开发一种将代码转化为自然语言思维过程的方法，在人工智能领域取得了重大突破。他们创新的方法涉及将代码转化为名为CODEI/O的数据集。这个数据集是从超过80万个代码文件生成的，已经证明可以提高模型在代码相关任务以及一般推理任务中的表现。这项研究包括了上海交通大学和香港科技大学等知名机构的贡献，表明CODEI/O方法在各种规模的模型上都是有效的。这一进展可能会改变AI和机器学习领域的游戏规则，因为它展示了一种训练模型的新方法，可能会导致更复杂和多功能的AI系统。- DeepSeek团队使用300多万个实例构建了数据集CODEI/O，对Qwen、Llama等模型进行了训练。 - 模型性能在各种类型的推理任务中都有全面提升，包括非代码类的推理任务。 - 作者从CodeMix、PyEdu-R等数据集中收集了80多万份代码文件，使用DeepSeek-V2.5模型进行预处理，生成了350万个样本实例。 - 作者利用DeepSeek-V2.5构建了自然语言思维链（CoT）的训练样本。 - 作者进一步利用了代码的可执行特性，合成了数据质量更高的CODEI/O++。 - 作者采用了两阶段训练策略，先用CODEI/O或CODEI/O++训练推理能力，再用通用指令数据集进行微调。 - Qwen-Coder在代码理解任务上取得了突破性进展，并在阅读理解和推理任务上有明显提升。 - DeepSeek-Coder在CODEI/O的训练下展现了均衡的进步，在各个维度上都实现了稳定的改进。 - Llama在LeetCode-O上的性能提升了将近150%。 - Gemma作为测试中最大的模型，展示了CODEI/O方法在大规模模型上的适用性，在多个关键领域取得了进步。