O1-Prunner:O1-类推理剪枝的长调和微调

这篇论文介绍了O1-Pruner，一种新颖的微调方法，旨在优化类似OpenAI的O1这样的长思考语言模型的推理过程。这种技术通过训练模型生成更短但准确的推理序列来解决推理时间过长的挑战。这项工作的重要性在于它有望提高复杂问题解决AI的效率，而不会牺牲性能。进行的实验表明，O1-Pruner不仅缩短了推理时间，还提高了数学推理基准的准确性。这一进展可能会改变需要AI推理速度和精度的应用程序。代码可用性的前景表明，研究界很快就能应用并可能扩展这种方法。- 最近，长时间思考的推理LLMs（如OpenAI的O1）采用了类似于人类思考复杂问题的扩展推理过程。 - 这种推理范式显著增强了模型的问题解决能力，并取得了有希望的结果。 - 长时间思考的推理过程导致推理时间大幅增加。 - 一个紧迫的挑战是在确保准确性的同时减少长时间思考LLMs的推理开销。 - 本文通过实验证明，长时间思考的推理模型在根据问题难度和推理冗余性有效分配令牌预算方面存在困难。 - 为了解决这个问题，我们提出了长度协调微调（O1-Pruner），旨在在保持准确性的同时最小化推理开销。 - 这种有效的微调方法首先通过预采样估计LLM的基准性能，然后使用RL风格的微调来鼓励模型在准确性约束下生成更短的推理过程。 - 这使得模型能够在保持准确性的同时实现高效的推理，减少冗余。 - 在各种数学推理基准测试中的实验证明，O1-Pruner不仅显著减少推理开销，还实现了更高的准确性，为这一挑战提供了一种新颖且有希望的解决方案。