公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4

在一项开创性的研究中，研究人员开发了一个公理训练框架，使得Transformer模型能够进行因果推理，这是先前被认为对机器学习模型具有挑战性的任务。该框架通过将因果公理表示为符号元组，并用前提、假设和结果来训练Transformer，教会了它理解因果关系。令人惊讶的是，这个仅有6700万参数的模型展现出了对更大因果图的泛化能力，并在复杂的因果链上表现出与万亿参数级GPT-4相当的能力。这表明公理训练可能成为教授模型系统性推理的新范式，潜在地减少了对大规模扩展的需求，并为实现先进人工智能能力提供了更高效的途径。这一内容对于那些对人工智能和因果推理交叉领域感兴趣的人以及这些进展对于更智能、更高效的机器学习模型发展的影响感兴趣的人尤为重要。- 通过公理训练，可以让LLM学会因果推理。 - 小图谱的因果传递性公理演示可以泛化用于大图谱的传递性公理。 - 公理训练框架是一种基于被动数据来学习因果推理的新范式。 - 该团队使用了符号演示教模型学习因果推理的新方法。 - 他们训练了一个有6700万参数的Transformer模型，可以与万亿参数级的GPT-4相媲美。 - 他们的模型在因果推理任务上的准确度高于其他更大型的LLM模型。 - 公理训练方法还可以泛化用于解决更困难的问题，如根据因果关系分辨相关性。