LongSkywork：在大型语言模型中有效扩展上下文长度的训练配方

LongSkywork是一项开创性的训练配方，旨在显著扩展大型语言模型（LLMs）的上下文长度能力，使其能够处理高达惊人的20万个标记。由赵亮领导的团队撰写，这项工作因其创新的方法而脱颖而出，通过在标准SFT阶段后引入长上下文SFT阶段来增强长上下文处理能力。令人惊讶的是，仅需200次迭代即可将标准SFT模型转变为长上下文模型。作者还提出了生成合成数据的新方法，减少了对大量数据收集和注释的需求，从而提高了训练效率。LongSkywork的性能值得关注，实现了在长上下文信息检索的Needle测试中的完美准确性，并与领先的长上下文模型Claude2.1不相上下。对于那些对LLMs和高效训练方法感兴趣的人来说，LongSkywork提供了宝贵的见解，并展示了该领域的重大进展。- LongSkywork是一个能够处理多达200,000个标记的长上下文大型语言模型（LLM）。 - 通过在标准SFT阶段后加入长上下文SFT阶段，可以提高长上下文处理能力。 - 仅需200次迭代即可将标准SFT模型转换为长上下文模型。 - 我们开发了两种创建合成数据的新方法，以减少收集和注释长上下文语言建模数据的工作量。 - 合成的长上下文SFT数据在某种程度上可以超越由人类策划的数据的性能。 - LongSkywork在各种长上下文基准测试中表现出色。 - 我们的模型在多个上下文范围内实现了完美的准确性。 - LongSkywork-13B的性能与领先的长上下文模型Claude2.1相当。