MoMa：采用模态感知专家混合的高效早期融合预训练

这篇论文介绍了MoMa，一种用于预训练多模态人工智能系统的前沿架构，能够高效处理图像和文本。由Meta Fair团队撰写，包括像Victoria Xi和Luke Zettlemoyer这样的知名研究人员，MoMa以其对模态感知的专家混合设计脱颖而出，显著提高了预训练效率。该架构分为模态特定的专家组，使得与传统密集模型相比，计算资源（FLOPs）节省了3.7倍。这种创新对于那些对开发能够处理复杂混合模态任务的资源高效人工智能系统感兴趣的人尤为重要。论文的实证结果表明，MoMa可能会在早期融合语言模型领域产生重大影响，这使得它对于专注于多模态学习和效率的人工智能研究人员和从业者来说是一篇引人入胜的阅读材料。- MoMa是一种用于预训练混合模态、早期融合语言模型的模态感知的专家混合(MoE)架构。 - MoMa将专家模块分为模态特定的组，以任意顺序处理图像和文本。 - MoMa通过模态特定的参数分配实现了大幅的预训练效率提升。 - MoMa 1.4B模型具有4个文本专家和4个图像专家，与计算等效的密集基准相比，实现了令人印象深刻的FLOPs节省。 - MoMa在FLOPs节省方面优于具有8个混合模态专家的标准专家选择MoE。 - 将MoMa与深度混合(MoD)相结合进一步提高了预训练FLOPs节省，但对因果推断的性能有所损害。 - MoMa有潜力显著提高混合模态、早期融合语言模型的效率。