通过协同验证缩放推断计算改进LLM推理

该论文提出了一种新颖的方法，以增强大型语言模型（LLMs）在复杂任务中，特别是数学和代码推理方面的推理能力。它引入了一种通过生成多个推理路径并使用验证器来评估和排名输出结果的方法，从而扩大了推理时间计算。通过一个包含正确和错误解决方案的全面数据集，帮助验证器提高准确性。该论文还提出了一种协作验证方法，结合了Chain-of-Thought（CoT）和Program-of-Thought（PoT）解决方案，利用它们各自的优势进行更好的解释和验证。值得注意的是，开发的验证器Math-Rev和Code-Rev显示出显著的性能改进，甚至在GSM8k和MATH等基准测试中超越了GPT-4o，Qwen-72B-Instruct作为推理者。这项研究对于那些对人工智能和机器学习领域感兴趣的人来说，尤其是在开发LLMs中更可靠和准确的推理方面，可能是一个重要的进步。- 大型语言模型（LLMs）在数学和代码推理等复杂任务中存在问题。 - LLMs主要训练在正确解上，降低了检测和学习错误的能力。 - 为了解决这个问题，引入了一个包含多个LLMs生成的数据集。 - 通过生成多个推理路径并使用验证器来评估和排名生成的输出的正确性，扩大了推理时间计算。 - 选择了构建验证器的训练方法，并提出了一种集成思维链（CoT）和思维程序（PoT）解决方案的新型协作方法进行验证。 - 通过充分发挥CoT和PoT的优势，该方法显著提高了推理验证的准确性和可靠性。 - 验证器Math-Rev和Code-Rev在基准测试中取得了最先进的结果。