科技羽乘风而起|AI桌宠伙伴

阿里云创新中心> 创业资讯> 科技羽乘风而起|AI桌宠伙伴
0
0

科技羽乘风而起|AI桌宠伙伴

阿里云 2024-11-25 00:00:00 923
AI硬件产品详情

团队简称:科技羽乘风而起

团队介绍

刘江浩:大模型AI应用开发工程师,平时主要负责在Intel、AMD、高通骁龙 X86平台的PC上部署开发端侧AI应用。一直处在AIPC开发的最前沿,了解一手AIPC的信息以及产品形态。 奖项: 2023年阿⾥云& NVIDIA(英伟达) 通义千问AI挑战赛 - Agent赛道 “魔搭优秀应⽤奖” 2024年 英特尔人工智能创新应用大赛 - "创新创业专项赛入围奖”

邓顺子:NLP 算法工程师,主要研究留学教育领域的信息抽取与智能对话,同时对大模型推理加速与行业落地也有较大兴趣。 奖项: 第二十一届中国计算语言学大会(CCL2022)航旅纵横杯一等奖(子任务二)和三等奖(子任务一) NVIDIA TensorRT Hackathon 2023⽣成式AI模型优化赛 冠军与“特别贡献奖” 2023年阿⾥云& NVIDIA(英伟达) 通义千问AI挑战赛 - Agent赛道 “魔搭最佳应⽤奖” 2024年华为昇腾《燃烧吧!开发板》02期“最佳创意奖”(作品:使用昇腾310完成通义千问大模型适配)

产品名称及一句短语介绍: 端侧AI桌宠助手,基于Intel AIPC的本地算力,结合Live2D二次元角色界面,提供个性化记忆对话和隐私保护的端侧AI桌宠助手。

亮点介绍

  1. 我们采用心理咨询领域的专业知识,并结合胡桃角色的对话风格,对qwen2.5 7B模型进行了细致的微调,以提升其对话能力。

  2. 通过ipex-ollama技术,我们将微调后的模型部署在Intel集成图形处理器(iGPU)上,以充分利用本地硬件资源,实现高效的模型运行。

  3. 利用Langchain的长短期记忆模块,并结合本地向量数据库存储对话信息,我们让AI桌宠更加理解用户,提供更加个性化的交互体验。

  4. 通过整合BERT意图分类与实体识别模型,并借助OpenVino技术及AIPC上的NPU硬件,我们成功打造了一个低延迟(10ms左右)、高效能的智能控制系统。该系统能够无缝操控多种设备,包括调节电脑亮度、音量、摄像头等,涵盖超过十项实用功能。这一创新为用户带来了近似端侧贾维斯的智能化体验,极大地提升了操作便捷性与响应速度。

  5. 结合自动语音识别(ASR)、大型语言模型(LLM)和文本转语音(TTS)技术,我们通过特定关键词“胡桃胡桃”实现语音唤醒功能,自动识别用户对话内容,打造出具有胡桃二次元角色特色的语音对话体验,并实现语音控制工具调用的能力。

  6. 参考OpenVINO对OpenVoice-v1的适配指南,我们成功完成了OpenVoice-v2的适配工作。在此基础上,我们进一步利用NNCF对OpenVINO v2进行了4/8 bit模型量化处理,不仅显著提升了语音生成的质量,还大幅降低了响应延迟,实现了更高效、更迅捷的语音生成体验。

  7. 端侧模型的实现确保了隐私数据的本地化处理,最大程度上保护了用户的隐私安全。

产品简介: 一款端侧AI桌宠助手,依托于Intel AIPC的强大本地计算能力,采用Live2D技术打造的二次元角色界面,为您的AI助手带来生动的视觉体验。这款助手能够持续记忆对话内容,实现深度个性化的AI交互体验。通过定制化的语音交互,它能够控制PC的多项功能,如调整屏幕亮度、音量以及摄像头设置。所有关键信息均存储于本地,确保您的隐私安全。此外,我们还可以针对不同角色IP定制语言风格和语音音色,以满足您的个性化需求。我们致力于创造一款完全在端侧运行的AI桌宠助手,让您的数字生活更加丰富多彩。

产品图片image

视频介绍

主要功能

  1. 微调的对话模型:基于心理咨询专业知识和胡桃角色的对话风格,微调了qwen2.5 7B模型,提升其对话能力。
  2. 本地硬件部署:利用ipex-ollama技术,将微调后的模型部署在Intel集成图形处理器(iGPU)上,确保高效运行。
  3. 个性化对话体验:通过Langchain的长短期记忆模块和本地向量数据库存储对话信息,提升AI桌宠的用户理解能力和互动体验。
  4. 多工具控制:结合BERT意图分类和实体识别模型,实现低延迟控制多个工具(如调整电脑亮度、音量、摄像头等)功能,提供类似端侧贾维斯的智能体验。
  5. 语音唤醒与控制:通过自动语音识别(ASR)、大型语言模型(LLM)和文本转语音(TTS)技术,支持语音唤醒(“胡桃胡桃”)及语音控制工具调用。
  6. 优化语音生成:完成openvino对OpenVoice-v2的适配,提升语音生成效果以及大幅度降低了响应延迟。
  7. 隐私保护:端侧模型确保隐私数据本地处理,保护用户隐私安全。

技术运用

● 通义:qwen2.5 7B 模型

● 英特尔软硬件:Intel-AIPC ○ 硬件:CPU Intel(R) Core(TM) Ultra 7 268V,内存:32G ,iGPU:Intel(R) ArC(TM)140V ,NPU: Intel AI Boost ○ 软件:OpenVINO、ipex-ollama、nncf

● 使用的模型:qwen2.5-7B-instruct、OpenVoice-v2、Bert-base-chinese(103M/0.1B)、SenseVoiceSmall(ASR)、nomic-embed-text

● 其他技术:langchain、langgraph、chroma、Live2D

客户案例: 暂无

后缀.jpg

版权声明: 创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余转载文章均来自所标注的来源方,版权归原作者或来源方所有,且已获得相关授权,若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者,其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章,均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容,可填写「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。

评论

登录后可评论