GPT-4o能玩《黑神话》！精英怪胜率超人类，无强化学习纯大模型方案

在这项创新研究中，阿里巴巴的研究人员创造了一个名为VARP（视觉动作角色扮演）的新型AI框架，该框架能够在不使用强化学习的情况下玩《黑神话：悟空》游戏。这款AI包括了GPT-4o和Claude 3.5版本，并且在游戏中的某些战斗场景中展现出了超越人类玩家的能力。AI通过解析游戏截图并生成Python代码来控制游戏，这种方法与传统需要大量训练数据的强化学习方法不同。这项研究对于未来AI在游戏领域的发展具有重要意义，展示了AI理解和与复杂环境互动的能力，这种能力更加类似于人类。研究结果以及相关代码和数据集将来会公开，这可能会吸引那些对AI在游戏和其他领域进化能力感兴趣的人。- 阿里巴巴的研究人员提出了一个新型VARP智能体框架，能够玩《黑神话·悟空》游戏。 - 该智能体在90%简单和中等水平战斗场景中取胜，胜率超过人类。 - 使用大模型玩游戏，没有使用强化学习。 - 研究人员定义了12个任务，75%与战斗有关，构建了一个人类操作数据集。 - VARP智能体框架包含动作规划系统和人类引导轨迹系统，利用视觉语言模型进行动作推理和生成。 - GPT-4o和Claude 3.5 Sonnet等模型在与人类对比中表现良好。 - AI在面对幽魂等难题时束手无策。 - VLMs推理速度受限，无法实时输入每一帧画面。 - 智能体在没有人类引导下无法找到正确的路线。 - 纯大模型也能打游戏，不仅需要大量对局数据，还需要有效数据集。 - 评选征集中的2024人工智能年度评选已开启报名通道。