团队简称: Kepler 开普勒小队
团队介绍: 个人开发者团队,大模型商业化背景,微信号 cartman-ca
产品名称及一句短语介绍: Kepler 是一款多模态模型的穿戴设备,为视障人士提供视觉辅助
亮点介绍:
● 关键创新一:多模态大模型视觉理解能力,让日常活动有更多可能
● 关键创新二:智能设备支持语音实时交互,释放双手让行动更便捷
● 关键创新三:Mobile Agent自主完成任务,让手机应用不再有障碍
产品简介:
这款智能穿戴设备专门为视障人士设计,提供全方位的生活辅助,特别是购物、烹饪等日常活动。 设备包括了摄像头和耳机,摄像头可贴附在眼镜架或者手杖上,搭载多模态大模型能够识别物品和文字,用户通过无线耳机进行语音互动。
产品图片:
● 原型机采用智能眼镜设备
● 概念产品设计,摄像头可贴附在眼镜架或者手杖上
视频介绍:
主要功能:
● 提供视觉对话功能,实时识别物体如商品、货币等,帮助视障人士独立完成购物、烹饪等日常活动。
● 支持语音输入和输出,让视障人士无需触摸屏幕,在超市购物等公共场所,释放双手更加便捷和安全。
● 连接手机 Mobile Agent通过分析手机屏幕图像,自主完成各种任务,如购物、使用导航APP等。
技术运用:
● 智能设备通过摄像头采集视觉信息,无线耳机与用户交互
● APP应用端连接设备处理音视频,Mobile Agent自动操作购物 APP
● 服务端搭建云端,使用阿里云ECS和OSS,支持长期记忆对话
● 模型采用通义Qwen大模型,智谱GLM大模型,魔搭开源模型
客户案例:
项目来源自一个 up 主的分享 点击播放
评论