Kepler 盲人视觉辅助|Kepler 智能眼镜

阿里云创新中心> 创业资讯> Kepler 盲人视觉辅助|Kepler 智能眼镜
0
0

Kepler 盲人视觉辅助|Kepler 智能眼镜

阿里云 2024-11-26 00:00:00 2033
AI硬件产品详情

团队简称: Kepler 开普勒小队

团队介绍: 个人开发者团队,大模型商业化背景,微信号 cartman-ca

产品名称及一句短语介绍: Kepler 是一款多模态模型的穿戴设备,为视障人士提供视觉辅助

亮点介绍:

● 关键创新一:多模态大模型视觉理解能力,让日常活动有更多可能

● 关键创新二:智能设备支持语音实时交互,释放双手让行动更便捷

● 关键创新三:Mobile Agent自主完成任务,让手机应用不再有障碍

产品简介

这款智能穿戴设备专门为视障人士设计,提供全方位的生活辅助,特别是购物、烹饪等日常活动。 设备包括了摄像头和耳机,摄像头可贴附在眼镜架或者手杖上,搭载多模态大模型能够识别物品和文字,用户通过无线耳机进行语音互动。

产品图片

● 原型机采用智能眼镜设备

image

● 概念产品设计,摄像头可贴附在眼镜架或者手杖上

image

视频介绍:

主要功能

● 提供视觉对话功能,实时识别物体如商品、货币等,帮助视障人士独立完成购物、烹饪等日常活动。

● 支持语音输入和输出,让视障人士无需触摸屏幕,在超市购物等公共场所,释放双手更加便捷和安全。

● 连接手机 Mobile Agent通过分析手机屏幕图像,自主完成各种任务,如购物、使用导航APP等。

技术运用

● 智能设备通过摄像头采集视觉信息,无线耳机与用户交互

● APP应用端连接设备处理音视频,Mobile Agent自动操作购物 APP

● 服务端搭建云端,使用阿里云ECS和OSS,支持长期记忆对话

● 模型采用通义Qwen大模型,智谱GLM大模型,魔搭开源模型

客户案例

项目来源自一个 up 主的分享 点击播放

后缀.jpg

版权声明: 创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余转载文章均来自所标注的来源方,版权归原作者或来源方所有,且已获得相关授权,若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者,其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章,均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容,可填写「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。

评论

登录后可评论