执行算术：作为图灵机的微调大型语言模型

该论文解决了大型语言模型（LLMs）在执行算术任务方面的重要局限性。它引入了可组合算术执行框架（CAEF），该框架训练LLMs模拟图灵机进行逐步计算。这种方法值得关注，因为它超越了简单的记忆，使LLMs能够理解计算逻辑并推广到新问题。该框架的可扩展性也很有趣，因为它允许组合学习到的运算符，简化复杂操作的学习。该论文声称在LLaMA 3.1-8B模型上使用CAEF在常见数学运算中实现了几乎完美的准确性，即使操作数高达100位数，有时甚至超过了GPT-4o等模型的能力。这一进展可能会改变需要精确算术计算的领域中LLMs的应用。- 大型语言模型（LLMs）在自然语言处理和推理任务方面展示了卓越的能力。 - LLMs在算术领域的表现不佳，往往只是记住特定的例子而不是学习底层的计算逻辑。 - 提出了一个可组合的算术执行框架（CAEF），通过模拟图灵机，使LLMs能够学习逐步执行计算，从而真正理解计算逻辑。 - CAEF在LLaMA 3.1-8B模型上对七种常见数学运算实现了近乎100%的准确率。 - CAEF支持处理具有多达100位数的操作数，而GPT-4o在某些情况下明显不足。