FP8模型不再挑卡!DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎

阿里云创新中心> 创业资讯> FP8模型不再挑卡!DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎

FP8模型不再挑卡!DeepSeek推理成本减半速度翻番,清华团队开源「赤兔」推理引擎

阎荟 2025-03-14 00:00:00 56
清华大学开发的DeepSeek在AI效率方面取得了重大进展,使FP8模型能夜在更广泛的GPU上运行,而不仅仅是专门的H卡。这一创新集中体现在Chitu引擎中,其能够将推理成本减半,部署大型模型的速度提高一倍。Chitu是开源的,适用于各种计算环境,对于寻求成本效益的企业来说,它是一个改变游戏规则的工具,提供了大型模型部署解决方案。其发布标志着中国国内AI能力的重要进步,有望减轻芯片制造商的软件开发负担,并促进国内芯片行业的合作。
清华大学开发的DeepSeek在AI效率方面取得了重大进展,使FP8模型能夜在更广泛的GPU上运行,而不仅仅是专门的H卡。这一创新集中体现在Chitu引擎中,其能够将推理成本减半,部署大型模型的速度提高一倍。Chitu是开源的,适用于各种计算环境,对于寻求成本效益的企业来说,它是一个改变游戏规则的工具,提供了大型模型部署解决方案。其发布标志着中国国内AI能力的重要进步,有望减轻芯片制造商的软件开发负担,并促进国内芯片行业的合作。对于那些对AI和硬件优化交叉点感兴趣的人来说,Chitu引擎代表着一个值得关注的重要进步。- 清华大学翟季冬教授团队与清程极智联合开源大模型推理引擎「赤兔」。 - 赤兔引擎实现了非 H 卡设备上运行原生 FP8 模型的突破。 - 在 A800 集群上的实测数据显示,使用赤兔引擎部署 DeepSeek-671B 满血版推理服务,GPU 数量减少了50%,输出速度提升了3.15倍。 - 赤兔引擎提供多元算力适配、全场景可伸缩和长期稳定运行等重要特性。 - 赤兔引擎通过高效处理 FP8 数据实现了非 H 卡设备上的原生运行。 - 赤兔引擎的开源有助于弥合国产芯片与国际先进芯片之间的「时间差」,并减轻芯片厂商的软件开发负担。

后缀.jpg

版权声明: 创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余转载文章均来自所标注的来源方,版权归原作者或来源方所有,且已获得相关授权,若作者版权声明的或文章从其它站转载而附带有原所有站的版权声明者,其版权归属以附带声明为准。其他任何单位或个人转载本网站发表及转载的文章,均需经原作者同意。如果您发现本平台中有涉嫌侵权的内容,可填写「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。