大模型芯片轰向Hot Chips顶会！架构创新巅峰对决，功耗比游戏显卡还低

在Hot Chips 2024会议上展示的AI处理器和加速器的最新进展，重点介绍了IBM的Telum II处理器和FuriosaAI的RNGD张量收缩处理器（TCP）。RNGD芯片专为大型语言模型的高效推理而设计，其令人印象深刻的规格包括：采用TSMC的5纳米工艺制造，拥有4000亿个晶体管、653平方毫米的芯片尺寸，以及相对较低的功耗为150瓦。FuriosaAI声称他们的芯片可以提供高达512TFLOPS（FP8）和1024TOPS（INT4）的计算能力，将其定位为数据中心AI推理的更节能替代品。这一创新对于对AI硬件未来及其潜力革新数据中心运营感兴趣的技术爱好者和行业专业人士可能具有重要意义。RNGD芯片预计将在2025年初广泛推出，之前将提供给早期试用客户。- Hot Chips 2024是一年一度的夏季芯片顶会，AI计算成为焦点议题。 - IBM推出内置AI加速器的新一代Telum II大型机处理器。 - FuriosaAI展示了新一代数据中心AI芯片RNGD，采用创新架构，具有低功耗和高性能。 - RNGD芯片采用台积电5nm制程工艺，具有256MB片上SRAM和48GB HBM3内存。 - RNGD芯片可高效运行大语言模型，提供最高512TFLOPS（FP8）和1024TOPS（INT4）的计算能力。 - FuriosaAI的TCP架构实现了高性能、高能效和可编程性的平衡。 - TCP架构通过张量收缩实现广泛并行和数据重用，提高了能效和整体性能。 - FuriosaAI团队相信RNGD芯片可以广泛部署于数据中心，解决大规模AI推理的实际问题。