Thinking LLMs: General Instruction Following with Thought Generation

在论文《Thinking LLMs: General Instruction Following with Thought Generation》中，作者介绍了一种新颖的训练方法，使得大型语言模型（LLMs）能够在回答指令之前模拟思考的过程。这种方法的重要性在于它与传统方法不同，传统方法中LLMs直接回答问题而没有中间的推理步骤。论文的关键创新在于一个迭代搜索和优化过程，使得LLMs能够生成和评估潜在的思考，而不依赖额外的人类数据。通过使用评判模型来评分其“思考”的质量，并通过偏好优化来优化它们，模型的性能得到了提升。这种方法不仅在复杂推理和问题解决任务中提高了LLMs的能力，还在营销和健康等领域表现出色，暗示着对人工智能领域的广泛影响。这项研究可能会改变游戏规则，对那些对开发更自主和复杂的AI系统感兴趣的人具有重要意义。-LLMs经过培训，能够像人类专家一样回答问题并遵循指示。 -然而，他们在回答之前缺乏思考的能力。 -提出了一种训练方法来培养LLM的思维能力。 -该方法使用迭代搜索和最优化过程。 -使用模型对思想候选人进行评分和优化。 -该程序在AlpacaEval和Arena Hard上取得了优异的成绩。 -思考还可以提高非推理类别的表现，如营销、健康和一般知识。