大模型是否有推理能力？DeepMind数月前的论文让AI社区吵起来了

这一内容引发了人工智能社区对大型语言模型推理能力的激烈讨论。焦点在于DeepMind的一篇论文声称他们的2.7亿参数Transformer模型可以在国际象棋中达到“特级大师”水平，而无需依赖传统的搜索算法。这与常规做法有着显著不同，因为国际象棋人工智能通常依赖这些算法来评估潜在的走法。该论文的发现挑战了使用的评估方法，并将模型的表现与著名的国际象棋引擎如Stockfish 16和AlphaZero以及GPT-3.5-turbo-instruct进行了比较。这项研究的意义可能重新塑造我们对人工智能在战略游戏和其他领域潜力的理解，表明监督学习可能足以开发出在复杂任务中具有良好泛化能力的策略。对于那些关注人工智能能力演进和关于机器智能本质的持续讨论的人来说，这一内容尤为重要。- 近期关于大型语言模型是否具有推理能力的讨论再次兴起。 - 苹果在一篇论文中指出，即使给模型一些干扰，最聪明的模型也会犯最简单的错误。 - DeepMind的一篇论文声称他们的Transformer模型在国际象棋中达到了特级大师水平，而无需搜索算法。 - 田渊栋和Gary Marcus对这篇论文的结论提出了质疑，认为评估方法可能存在局限。 - 论文中的作者认为他们的工作证明了复杂而精密的算法可以被蒸馏为前馈transformer，从而转变了对大型transformer的看法。 - 该论文使用了大量的人类对弈棋局作为训练数据，模型在与人类玩家对弈时表现出了强大的水平。 - 该论文的结果引发了一些争议，但也激发了人们对大型语言模型在推理能力方面的想象力。