研究人员利用NPR周日谜题评估AI推理模型

研究人员利用NPR的Sunday Puzzle谜题制定了一个独特的AI基准，这个节目以具有挑战性的智力题闻名，需要一般知识和逻辑推理。这个基准包括大约600个谜题，它的重要性在于它摆脱了AI模型经常测试的神秘知识，旨在评估与普通用户相关的问题解决能力。值得注意的是，研究表明一些AI模型，如DeepSeek的R1，可以展现出类似人类的行为，比如放弃或表现出“沮丧”。在这个基准上表现最好的模型是OpenAI的o1，得分为59%。这种评估AI的方法令人感兴趣，因为它可能导致对AI在日常环境中的能力和局限性有更好的理解。- 研究人员使用NPR Sunday Puzzle的问题建立了一个AI基准测试模型。 - 基准测试模型揭示了AI模型有时会放弃并提供错误答案。 - 目前最好的模型是o1，得分为59%。 - 研究人员计划扩大测试范围，以进一步提高这些模型的性能。 - 基准测试模型可以帮助研究人员理解和分析结果，找到更好的解决方案。