4秒看完2小时电影！阿里发布通用多模态大模型mPLUG-Owl3 | 开源

阿里巴巴的mPLUG团队推出了一款开创性的多模态模型mPLUG-Owl3，这款模型能够在短短4秒内处理完一部2小时的电影，并且在理解和回答有关视觉内容的问题上保持高准确性。mPLUG-Owl3的Hyper Attention模块是其核心特色，它能够高效地将视觉特征融入到语言模型中，从而在多种基准测试中取得了卓越的表现。这项技术对于需要实时分析长视频序列的应用来说具有重大意义。mPLUG-Owl3的开源特性为AI和机器学习领域的研究者和开发者提供了极具价值的资源。- 阿里发布通用多模态大模型mPLUG-Owl3，能够理解多图、长视频。 - mPLUG-Owl3将模型的First Token Latency缩小了6倍，单张A100能建模的图像数目提升了8倍，实测4秒就能看完一部2小时的电影。 - mPLUG-Owl3在多模态大模型的各种场景上达到了SOTA。 - mPLUG-Owl3具备多种用法，包括多模态检索增强、多图推理和长视频理解。 - mPLUG-Owl3通过轻量化的Hyper Attention模块将视觉特征融入到语言模型中。 - mPLUG-Owl3在多个数据集上取得了SOTA的效果，并在长视觉序列输入中展现了抗干扰能力。 - 提供了论文和代码链接以获取更多详情。