端侧大模型推理挑战与优化：商汤 SensePPL 深度调优实践

在这篇富有洞察力的文章中，商汤的研究员雷丹深入探讨了在智能手机和智能汽车等端侧设备上部署大型人工智能模型所面临的挑战和进展。文章重点介绍了商汤的HPC团队开发的SensePPL系统，该系统显著优化了这些模型的性能，通过改善延迟和解码延迟来提升用户体验。这篇文章以实用的方式突出了使人工智能更加普及和无处不在的目标，展示了SensePPL如何成功应用于各种应用领域，从文本生成到智能车舱。对于那些对人工智能部署和优化的前沿感兴趣的人，特别是在边缘计算领域，这篇文章深入探讨了扩展人工智能影响力和能力的技术解决方案。- 大模型推理正在向手机、PC、智能汽车等边缘侧和端侧产品渗透。 - 商汤推出SensePPL端侧大模型推理系统，取得了业界领先的性能指标。 - 端侧大模型推理面临存储与计算资源、功耗、软件生态等挑战。 - 端侧大模型推理的发展呈现蓬勃向上的态势，手机、PC、智能汽车等领域都有应用。 - 端侧大模型推理的部署可以加大用户基数，缓解算力压力，是未来发展的趋势。 - 端侧推理面临的挑战包括内存占用、延迟、模型效果和兼容性。 - 优化技术包括优化显存、优化延迟和优化兼容性。 - SensePPL推理系统包括OPMX、PPL框架、算子库和Serving Pipeline。 - SensePPL应用在高端手机上取得了优异的性能表现。 - Serving层支持多种特性，包括大语言模型和多模态模型。 - 目前已应用于AI手机和AI汽车，接下来将重点放在AIPC和机器人。 - 目标是让推理解决方案帮助AI普及到千家万户，让AI无处不在。 - 演讲嘉宾是商汤科技系统研究员雷丹，长期从事AI模型推理研发与优化工作。 - 目前主要负责SensePPL端侧推理引擎的研发，推动SenseChat-Lite手机端部署及多模态模型在智能车舱的应用。 - QCon全球软件开发大会将于10月18日-19日在上海举办，涵盖云原生工程、架构、线上可靠性、大前端、技术管理等经典内容，以及AI Agent、AI Infra、RAG等AI话题。 - 大会火热报名中，详情可联系票务经理17310043226咨询。