复旦大学：没钱标数据的有福了！利用合成数据就能大幅提升大模型归纳推理能力

复旦大学最近推出了Case2Code挑战，旨在提高大型语言模型（LLMs）在代码归纳任务中的推理能力。大多数LLMs的训练数据集中在演绎推理上，而归纳推理任务的数据较少。挑战包括根据输入输出示例编写代码。研究人员提出使用合成数据生成大规模多样化的Case2Code训练数据。一个小型模型使用130万个合成数据样本在Case2Code评估集上取得了更高的准确率。不同的训练设置影响LLMs的代码推理能力。直接在Case2Code样本上训练LLMs或在预训练期间结合Case2Code数据可以增强它们的代码合成能力。输入示例的质量和提示的多样性影响生成数据的质量。研究表明，使用合成的Case2Code数据提高LLMs的代码推理能力是有效的，具有潜力。- 复旦大学发起了名为Case2Code的挑战，旨在解决大模型在归纳推理任务上的数据不平衡问题。 - 使用合成数据训练的小模型在Case2Code评估集上的准确率大幅提升，超越了其他大模型。 - 通过构建合成数据集，作者提出了一种高效获取大规模、多样化Case2Code训练数据的方法。 - 合成数据的生成框架包括从大规模数据集中收集程序、编写多样的示例输入和通过代码解释器计算输出等步骤。 - Case2Code训练能够提升大模型的归纳推理能力和代码理解生成能力。 - 多样性和输入生成步骤对合成数据质量和模型性能有重要影响。 - 合成的Case2Code数据能有效提升大模型的性能，即使使用小模型合成的数据也能有效提升大模型的性能。 - Case2Code是一个有效的基准，能够反映大模型的代码推理能力。