何恺明新作出炉！异构预训练Transformer颠覆本体视觉学习范式，AI性能暴涨超20%

在一次开创性的合作中，麻省理工学院和Meta FAIR团队开发了一种名为Heterogeneous Pre-trained Transformers（HPT）的新模型，显著改进了机器人处理和学习视觉数据的方式。这种创新方法允许具有不同感知能力的机器人将它们的输入对齐到统一的序列中，从而在模拟和真实环境中实现了惊人的20%任务性能提升。HPT成功的关键在于其干架构，利用交叉注意力机制来协调多样化的输入，表现出高度可扩展性和适应性，适用于各种任务和环境。这一进步不仅挑战了机器人视觉学习的传统范式，还展示了Transformer在异构系统中革新AI性能的潜力。如果您对最新的AI突破和它们在机器人领域的实际应用感兴趣，这篇内容是必读的。- MIT和Meta FAIR团队提出了异构预训练Transformer（HPT）模型，用于解决通用机器人模型中的异构性问题。 - HPT模型通过预训练一个可共享的神经网络主干，学习与任务和机器人形态无关的共享表示。 - HPT优于多个基准模型，在模拟器基准和真实世界环境中，将未见任务微调策略性能提升20%。 - HPT模型的核心要素包括stem结构和trunk结构。 - HPT模型可以处理不同本体感觉和视觉信息的异构数据。 - HPT模型在模拟环境和现实世界中展现出良好的泛化能力和鲁棒性。 - HPT模型的预训练数据集包含超过50个单独的数据源，模型参数超过1B。 - HPT模型的预训练可以扩展到具有更大计算量和更大模型的情况。 - HPT模型在迁移学习中展现出更好的任务成功率。 - HPT模型的预训练可以适用于不同姿势、物体数量、相机配置和光照条件的情况。