李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

斯坦福大学的研究人员开发了一种名为ACDC的机器人学习方法。ACDC通过一张照片创建物体的虚拟版本，称为数字表兄弟。在现实世界中训练机器人成本高且不安全，因此使用模拟环境。数字孪生在成本和跨领域泛化方面有局限性。数字表兄弟以更低的成本提供类似的训练场景，并且在跨领域泛化方面表现更好。ACDC包括三个步骤：提取物体信息，将物体与数字表兄弟匹配，生成模拟场景。ACDC捕捉原始场景的高级语义和空间细节。使用数字表兄弟训练的策略在鲁棒性和转移方面的表现优于使用数字孪生训练的策略。ACDC可以自动生成与现实世界图像相对应的交互式数字表兄弟场景。使用数字表兄弟训练的策略表现出强大的性能和出色的领域泛化能力，并支持从模拟到真实的转移。- 斯坦福大学李飞飞团队提出了数字表亲（digital cousin）的概念，可以将真实数据转化为适用于机器人学习的模拟数据。 - 数字表亲是真实物体的虚拟对应，具有相似的几何和语义特质和属性。 - 通过数字表亲可以降低生成相似虚拟环境的成本，并实现更好的跨域泛化。 - ACDC是一种全自动的方法，用于创建数字表亲，可以生成完全可交互的场景以及训练机器人策略。 - ACDC得到的数字表亲可以成功保留几何与语义特质和属性，并且训练得到的机器人策略优于使用数字孪生得到的策略。 - ACDC的方法包括从输入的RGB图像中提取物体信息、为每个物体匹配数字表亲、生成完全可交互的模拟场景。 - ACDC的实验结果表明，ACDC可以捕获原始场景的语义和空间细节，并且基于数字表亲训练得到的策略具有稳健性和零样本虚拟到真实策略迁移能力。