作为动作模型的生成图像

在一项名为“生成图像作为动作模型”的开创性研究中，研究人员对图像生成扩散模型进行了微调，这些模型以创建高质量合成图像而闻名，目的是用于视觉运动控制。该研究提出了GENIMA，一个创新的行为克隆代理，它调整了稳定扩散模型在RGB图像上“绘制联合动作”。这些图像随后被控制器解释，以执行一系列的联合位置动作，有效地使机器人能够通过视觉解释绘制的动作来执行任务。 这种方法已在25个RLBench和9个真实世界操纵任务上进行了测试，结果表明GENIMA在对场景变化的鲁棒性以及泛化到新物体的能力方面，可以胜过最先进的视觉运动方法。值得注意的是，GENIMA实现了这些成果，而不依赖于常见的机器人先验知识，如深度感知、关键点或运动规划器。这项研究可能标志着机器人控制领域的一个重大飞跃，对于那些对AI生成图像和机器人技术交叉领域感兴趣的人来说，这是一篇必读的文章。- GENIMA是一种行为克隆代理，通过将图像转化为关节位置序列来实现“绘制联合动作”。 - GENIMA在25个RLBench和9个真实世界的操作任务上进行了研究。 - 通过将行动转化为图像空间，互联网预训练的扩散模型可以生成优于最先进的视觉运动方法的策略。 - GENIMA的策略在场景扰动的鲁棒性和对新对象的泛化方面表现出色。 - 尽管缺乏深度、关键点或运动规划器等先验知识，GENIMA与3D代理具有竞争力。