PocketBuddy｜基于国产端侧推理芯片的开源模型实验平台

团队简称： OpenBuddy

团队介绍： 我们是一个专注于开源大语言模型的研究团队，来自浙江大学 ARClab 实验室。基于 Llama3.1、Mixtral、Falcon、Qwen 等多种开源模型基座，我们开发了多种 OpenBuddy 开源模型系列，旨在增强模型的中、日、韩跨语言能力、深度语言理解能力、指令遵循能力等多方面能力。OpenBuddy 开源模型覆盖了 1.5B 、8B、70B、140B 等多个尺寸，适用于多种应用场景，在 HuggingFace 上月下载量高达数万次。

产品名称及一句短语介绍： PocketBuddy 让每个开发者都能轻松打造专属的端侧AI硬件

亮点介绍：

1、多芯片平台支持：支持包括国产芯片在内的多种端侧AI 推理硬件平台

2、优化的端侧模型：1.5B规模基座，强大的跨语言理解能力，针对 INT4 量化场景优化

3、灵活的模组生态：丰富的硬件模组支持，满足多样化交互需求

4、开源开放：支持社区协作和模型垂域优化定制

产品简介： PocketBuddy 是一个面向边缘计算的一站式AI开发平台，通过整合高性能端侧芯片、优化的语言模型和丰富的硬件模组，让开发者能够快速构建和部署智能化应用。平台采用工作流的形式，实现端侧模型与各类模组的无缝对接，并支持云端大模型协同，打造完整的智能交互体验。

产品图片：

主要功能：

1、多平台适配：

● 支持国产AI推理模组（基于爱芯科技AX630/650芯片）

● 支持Intel哪吒开发板

● 支持Apple Silicon设备

● 跨平台模型量化和部署

2、模型优化与部署：

● 基于Llama3.2/Qwen2.5的1.5B量级端侧模型

● 旨在增强跨语言能力、语言理解能力、INT4 量化后能力的针对性训练过程

● 端云协同调度能力，借助 Qwen-MAX 等云端强模型扩展系统能力

3、硬件模组集成：

● 语音交互模组

● LCD显示模组

● 透明OLED模组

● 摄像头模组

4、开发工具链：

● 可视化工作流设计

● 模型训练与优化工具

● 开源社区维护支持

技术运用

● 魔搭：提供全面的开源模型仓库支持

● 通义：采用Qwen 2.5作为端侧模型基座并进行 Post-training，利用Qwen MAX API提供云端增强能力，实现端云协同

● 英特尔软硬件：通过OpenVINO实现高效的模型推理，结合"哪吒"开发板作为硬件平台