先进青年｜"AI for Earth" —AI-assisted Coral Reef Restoration

团队简称：

“先进青年”

团队介绍： 我们团队来自中国科学院深圳先进技术研究院，由一群充满活力的青年小伙伴组成。我们的研究方向集中在具身人工智能领域，团队成员涵盖自然语言处理（NLP）、计算机视觉（CV）和机器人技术等多个学科。作为先进的青年科研工作者，我们致力于通过科技创新推动社会进步，将尖端技术应用于实际问题的解决。我们坚信，保持技术的先进性不仅是我们的追求，更是我们的责任。在实现通用人工智能道路上，我们不断将人工智能应用于创新尝试，展示了技术赋能的无限可能。

核心成员：

（1）储磊，硕士，中国科学院深圳先进技术研究院研究生，中国科学院大学 2022-2023、2023-2024 学年度三好学生，本科期间获第18届中国大学生计算机设计大赛江苏省特等奖、全国二等奖；第8届全国大学生物联网设计竞赛（TI杯）华东赛区特等奖、全国三等奖；第8届蓝桥杯全国软件和信息技术专业人才大赛-软件创业团队赛全国三等奖；本科期间创新创业，共享雨伞项目获苏州顺融 VC 的 50 万种子轮投资。

（2）王涵，博士，珠海市人民医院博士后，澳门城市大学数据科学博士，香港中文大学医学院博士研究生。珠海中科先进技术研究院人工智能大数据中心副主任。国家药品监督管理局高级培训班讲师，深圳市视光学会影像及人工智能专委会委员，发表知识产权106项，其中专利46项（已授权14项），论文41篇（一作论文最高影响因子17.5），软著19项，获得国际、国家级、省市级奖项12项，市科技进步奖1项（第一贡献人），参与国家省市级科研项目9项，累计获批科研经费1300余万元。珠海市科技进步奖1项（第一贡献人）。第六届互联网+全国赛银奖、第七届互联网+全国赛银 奖、铜奖）、第七届互联网+产业赛道铜奖。2022年度珠海市科技创新之星。

指导老师：

潘毅，计算机科学领域专家。美国医学与生物工程院院士（Fellow）、俄罗斯工程院外籍院士、乌克兰工程院外籍院士、欧洲科学与艺术院院士、英国皇家公共卫生院院士，国家特聘专家，国家级高层次人才。入选全球前2%顶尖科学家榜单；入选世界顶尖1000名计算机科学家榜单；IEEE杰出报告人。深圳机器人协会理事长、中民协元宇宙工委首任会长。并担任《Big Data Mining and Analytics》（清华大学与IEEE共同发行，国际Top 3%杂志，中科院一区）主编、中国顶尖计算机类英文杂志《Journal of Computer Science and Technology (JCST)》副总主编、中国顶尖电子类英文杂志《Chinese Journal of Electronics(CJE)》副总主编。曾任国际著名生物信息杂志《IEEE/ACM Transactions on Computational Biology and Bioinformatics》副总主编、John-Wiley《生物信息学系列丛书》与John-Wiley《无线网络和移动计算系列丛书》的创办人兼主编和七种IEEE Transactions期刊副编辑。

吴红艳，中国科学院深圳先进技术研究院研究员，博士生导师。深圳市高层次人才。2011年在东京大学获得博士学位，2016年加入深圳市先进技术研究院，致力于深度图计算算法，以及图计算在生命科学领域的预测、泛化性及可解释性。主持国自然面上和青年科学基金项目，核心参与的“深圳卫生信息大数据平台构建及应用”获深圳科技进步二等奖，以第一或通讯作者在Nature Machine Intelligence，IEEE Trans Neural Netw Learn Syst, IEEE Trans Cybernetics，Briefings in Bioinformatics 等重要国际期刊发表论文30余篇；申请专利和软著40余项。

产品名称及一句短语介绍：

产品名称： AI 助力珊瑚礁修复机器人

一句话介绍：探索具身AI路，手拿把掐珊瑚修

亮点介绍：

1、图像分割

2、目标检测

3、缺陷检测

4、路径规划

5、边云协同决策

6、语义知识注入

产品简介： 本产品是一款以类人型具身机器人为载体的边云结合的水下白化珊瑚礁修复机器人，具备精准感知、自主决策、精密执行等特点，同时是我们团队在探索 AGI 道路上的重要的阶段性里程碑。同时，本作品作为产学研合作项目，积极响应 Intel 与 Microsoft 发起的"AI For Earth"活动号召，荣获微软创新杯 ICJ 2024 中国区冠军🏆全球总决赛前十🔥，为保护地球海洋生态环境贡献自己的一份力量。

人类的过度开发与污染活动使海洋生态系统遭受严重破坏，珊瑚礁因白化问题濒临灭绝。珊瑚礁不仅是海洋生物的重要栖息地，还在维护生物多样性、保护海岸线以及支持渔业和旅游业等方面具有不可替代的环保和经济意义。然而，珊瑚礁修复工作面临诸多挑战。海底环境复杂多变，光线昏暗，人工专家修复的成本高昂且危险性极大。同时，珊瑚礁因介于软体和脆体之间的特殊物理属性，加之其作为海洋生物栖息地的生态敏感性，使得修复工作对精度和柔性的要求极高，这种精细操作远超传统机器人能力。为了解决这一难题，我们团队开发了一款专为珊瑚礁修复设计的具身智能机器人系统。该机器人通过边缘端的3D结构光传感器和摄像头实时采集海底环境数据，构建动态环境模型，利用图像分割和目标检测技术精准定位修复区域。多模态数据传输至远程服务器后，通过强大的多模态大模型进行精确的缺陷检测和实时路径规划，并将决策反馈至机器人，完成高精度修复操作。值得一提的是，为了让机器手具备抓握和修复珊瑚礁的能力，我们团队借助AI技术进行了大量的训练工作。通过模拟真实海底环境和珊瑚结构特性，我们开发了多种抓取策略和修复动作，并在虚拟与实际环境中进行了数千次迭代训练。训练过程中，我们利用强化学习、数据增强和仿真测试等手段，不断优化机器手对珊瑚物理特性的感知与操作精度，确保机器人能以柔性和安全性完成修复任务。这一创新系统，不仅克服了传统机器人在复杂环境下的局限性，还有效提高了修复效率与精准度，为海洋生态修复开辟了全新路径，同时降低了人工修复的高风险和高成本，为全球海洋保护贡献了一份力量。

必须强调的是本项工作是我们团队在探索通用人工智能（AGI）与具身人工智能道路上的一项重要里程碑。我们坚信，未来的人工智能硬件必然以类人型具身智能为载体，赋予机器在现实环境中的高效适应和强大执行能力。在本项目中，我们通过应对复杂海底环境和精密珊瑚礁修复工作的多重挑战，成功实现了具身智能在极端条件下的多模态感知、自主决策与精细执行。这一突破不仅展现了具身智能“感-思-做”闭环的高效协同，更验证了其在高精度、高难度任务中的实际可用性。攀登这座技术高峰，为我们进一步推动具身人工智能从理论走向实际应用铺平了道路，也标志着我们在迈向AGI愿景的征途上又向前迈出了坚实的一步。

产品图片：

视频介绍：

主要功能：

1.海底环境建模 利用3D结构光和摄像头实时采集数据，在光线昏暗、环境复杂的极端海底条件下，构建动态海底环境模型，精准呈现复杂环境信息。

2.多模态感知与缺陷检测 基于图像分割、目标检测和多模态信息融合，实现对珊瑚礁缺陷的精准识别。

3.实时路径规划与决策 借助多模态大模型在远程服务器端进行实时路径规划与修复策略制定，将高效决策传递回机器人端。

4.高精度执行 通过强化学习和大量仿真训练，优化机器人对珊瑚的抓握和操作策略，适应珊瑚礁软脆结合的物理特性，在海底环境中完成复杂、精细的修复操作。

5.端云协同 实现边缘端与服务器端的高效数据交互与协作，支持多场景的灵活部署与任务执行。

技术运用

● 魔搭：利用 GPU 时长，上传私有珊瑚白化图片数据集，微调模型，并保存至本地部署；量化、下载 GroundedSAM 部署于边缘设备

● 通义：Qwen2-VL 7B 模型

● 英特尔软硬件：边缘设备通过OpenVINO™ 部署GroundedSAM 实现感知，Intel AI PC 通过OpenVINO™ 部署Qwen2-VL 辅助决策

客户案例： 珠海市海洋资源保护开发协会