腿足机器人深度强化学习笔记

该内容提供了关于使用CMU腿足机器人极限跑酷项目的详细指南，重点关注Isaac Gym环境。它包括了控制模拟的实用指导，如暂停、启动和调整摄像头视角。此外，它提供了关于训练过程的见解，如硬件要求（建议至少16GB VRAM的GPU），以及从保存的模型恢复训练的技巧。该指南还涉及Isaac Gym用于“无头机器”，即没有直接人机界面的计算机，通常远程管理。这些内容对于对深度强化学习用于机器人感兴趣的研究人员或爱好者特别有用，因为它提供了在模拟环境中训练腿足机器人的技术细节和操作提示。提到该项目相对于传统方法（如波士顿动力公司使用的方法）具有快速开发潜力的内容对于那些关心机器人训练效率的人来说是值得注意的。- CMU跑酷复现（Extreme Parkour with Legged Robots）项目地址：https://github.com/chengxuxin/extreme-parkour - Issac Gym操作空格键：暂停/开始仿真，V键：取消/开启渲染，F键：切换自由/跟随视角，中键：移动视角，滚轮：缩放视角，右键：转动视角，Alt + 左键：移动视角，[键和]键：切换镜头追踪目标 - Isaac-gym(3): 官方文档--programming之仿真设置源码：在安装目录isaacgym/python/isaacgym，例如：地形terrain_utils.py实例：在安装目录isaacgym/python/examples官方文档：安装Isaac Gym后，直接双击打开isaacgym/docs文件夹内的.html文件，例如：file:///home/xxx/isaacgym/docs/programming/index.html - 训练显卡显存需要在16GB以上，作者是3090，推荐4090或者更好的服务器。注释掉train.py的43行可以在训练时渲染以实时查看训练效果，按V快捷键在训练过程中开启/取消渲染同步，在4090电脑训练based策略一轮的时间：开启渲染9s多，取消渲染同步和直接不可视化一样要2s多。play时自动打开Issac Gym的渲染界面，如果运行设备没有显示器，可以通过添加--web参数，它将转发一个端口与vscode连接，需要安装VScode插件Live Preview vscode。可以在train同时play查看训练效果 ，但是得有足够的显存。设置--resume和--resumeid参数可以从之前训练好的模型重新开始训练，例如：--resume --resumeid xxx-xx，xxx-xx只能是数字，例如000-00。举例：python train.py --exptid 201-16-WHATEVER --device cuda:0 --resume --resumeid 201-12 - 在保存模型python save_jit.py --exptid yyy-yy时，yyy-yy为训练distillation policy时的名称。 - "headless machines"（无头机器）通常指的是没有显示器、键盘或其他人机交互界面的计算机或设备。这种设备通常通过网络远程管理和控制。例如，服务器、某些嵌入式系统或IoT（物联网）设备经常是无头的，因为它们不需要或者没有人直接操作的界面。这样的设备设计来在没有直接监控的情况下自动运行，通过网络或其他连接方式进行配置和维护。 - legged_robot.py：环境/相机/urdf、观测/奖励、reset、step/post_physics_step、关节pd、终止条件check_termination - base_task.py：键盘设置、self.viewer动作到平衡位置的偏移量开始正常训练的输出(parkour) - xx@xxx:~/extreme-parkour/legged_gym/legged_gym/scripts$ python train.py --exptid 201-11-WHATEVER --device cuda:0 - Importing module 'gym_38' - CMU跑酷复现项目的GitHub地址是https://github.com/chengxuxin/extreme-parkour。 - Issac Gym是一个仿真环境，可以使用空格键暂停/开始仿真，V键取消/开启渲染，F键切换自由/跟随视角等操作。 - Isaac Gym的官方文档可以在安装目录isaacgym/python/isaacgym找到，示例代码可以在isaacgym/python/examples中找到。 - 训练时需要显卡显存大于16GB，作者推荐使用3090或更高配置的服务器。可以通过注释train.py的43行来实时查看训练效果。在4090电脑上，开启渲染一轮训练需要约9秒，取消渲染同步或不可视化需要约2秒。可以通过添加--web参数将渲染界面转发到VScode插件Live Preview vscode连接的端口。可以同时进行训练和play查看训练效果，但需要足够的显存。可以使用--resume和--resumeid参数从之前训练好的模型重新开始训练。 - 保存模型时使用命令python save_jit.py --exptid yyy-yy，其中yyy-yy为训练distillation policy时的名称。 - "headless machines"指的是没有显示器、键盘或其他人机交互界面的计算机或设备，通常通过网络远程管理和控制。 - legged_robot.py和base_task.py是项目中的两个文件，分别包含了环境设置、观测奖励、重置、关节控制等功能。 - 通过命令python train.py --exptid 201-11-WHATEVER --device cuda:0可以进行训练。 - 提示正在导入模块'gym_38'。