"NVIDIA在Meta Llama 4 Scout和Maverick上加速推理过程 | NVIDIA技术博客"

NVIDIA推出了Llama 4 Scout和Llama 4 Maverick AI模型，标志着人工智能能力的重大进步。这些模型以其多模态和多语言功能而引人注目，Llama 4 Scout在大型代码库的摘要和推理方面表现出色，而Llama 4 Maverick专注于图像和文本理解。这两个模型都经过了针对NVIDIA GPU的优化，使用TensorRT-LLM，承诺带来令人印象深刻的性能提升。与Meta的合作突显了NVIDIA致力于开源模型、人工智能透明度和人工智能技术民主化的承诺。此外，NVIDIA NeMo框架为微调这些模型提供了简化流程，而NVIDIA NIM微服务简化了在各种GPU加速环境中部署这些模型的过程。对于希望将尖端人工智能整合到其应用程序中的开发人员和企业来说，Llama 4 NIM微服务为实验和概念验证开发提供了实用的起点。-《Llama 4 Scout》和《Llama-4 Maverick》是最新一代的Llama AI模型。 -他们在NVIDIA Blackwell B200 GPU上每秒获得超过4万个输出代币。 -这些模型是多峰值和多语言的，使用混合专家（MoE）架构。 -Llama 4 Scout针对多文档摘要、用户活动解析和基于代码库的推理进行了优化。 -Llama 4 Maverick针对高性能图像和文本理解进行了优化。 -两款机型均针对NVIDIA TensorRT-LLM进行了优化，该款机型在Blackwell B200 GPU上提供高通量。 -与NVIDIA H200相比，Blackwell B200 GPU提供更快的吞吐量和更好的词元代价。 -NVIDIA和Meta合作推进开放模型，提高人工智能的透明度。 -Llama模型可以使用NVIDIA NeMo进行微调。 -Llama 4模型将打包为NVIDIA NIM微服务，以便在GPU加速的基础设施上轻松部署。 -NIM通过行业标准API简化部署，并实现跨不同环境的无缝缩放。