开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？

在这篇洞察力强的文章中，我们深入了解了开源语言模型的最新进展，特别关注了Mixtral、Llama 3、Phi-3和OpenELM这些在人工智能语言处理方面取得突破的模型。Mixtral采用了一种混合专家模型，对传统的前馈层进行了创新；Llama 3扩大了词汇量并改进了注意力机制；微软的Phi-3模型强调数据质量而非数据量；苹果的OpenELM套件则专为移动设备上的小型语言模型设计，体现了行业向更易获取的人工智能技术发展的趋势。 文章还讨论了PPO与DPO在大型语言模型对齐方面的优势，这对开发者和研究人员来说是一个重要的考量点。此外，文章还回顾了一系列提出新技术和优化语言模型的前沿研究论文，包括压缩文本训练、直接纳什优化和内存效率优化器等。 对于人工智能和语言处理领域的爱好者和专业人士来说，这篇文章是了解最新趋势和创新的宝贵资源，提供了对语言模型未来发展的洞见。如果你希望在快速变化的人工智能领域保持领先，那么这篇文章绝对值得一读。- 4月份发布了四个主要新模型：Mixtral、Llama 3、Phi-3和OpenELM。 - Mixtral 8x22B是Mistral AI推出的最新款混合专家（MoE）模型。 - Llama 3是Meta AI发布的新模型，具有更大的词汇库和分组查询注意力。 - Phi-3是微软发布的新模型，使用了严格过滤的网络数据和合成数据。 - OpenELM是苹果发布的小型LLM模型套件，具有可在移动设备上部署的能力。 - PPO通常优于DPO，但DPO更简单易用。 - 论文《Training LLMs over Neurally Compressed Text》介绍了一种在经过神经压缩的文本上训练LLM的方法，以帮助LLM在面向任务的对话中不偏离话题。 - 论文《Direct Nash Optimization: Teaching Language Models to Self-Improve with General Preferences》提出了一种用于LLM后训练的方法：直接纳什优化（DNO），可提升模型性能。 - 论文《Cross-Attention Makes Inference Cumbersome in Text-to-Image Diffusion Models》探究了交叉注意力在文本条件式扩散模型的推理阶段的工作方式。 - 论文《BAdam: A Memory Efficient Full Parameter Training Method for Large Language Models》介绍了一种内存高效型优化器BAdam，可提升微调LLM的效率。 - 论文《On the Scalability of Diffusion-based Text-to-Image Generation》通过实证研究了基于扩散的文生图模型的扩展性质。 - 论文《Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks》揭示了即使围绕安全而构建的最新LLM也会被自适应技术轻松越狱。 - 论文《Emergent Abilities in Reduced-Scale Generative Language Models》发现非常「小」的LLM也能展现出涌现性质。 - 论文《Long-context LLMs Struggle with Long In-context Learning》介绍了一个关注长上下文学习和极端标签分类的新基准LIConBench。 - 论文《Mixture-of-Depths: Dynamically Allocating Compute in Transformer-Based Language Models》提出了一种混合深度方法，可优化基于transformer的语言模型的性能和效率。 - 论文《Diffusion-RWKV: Scaling RWKV-Like Architectures for Diffusion Models》介绍了一种用于NLP的RWKV架构的变体Diffusion-RWKV。 - 论文《The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis》发现早期阶段就能预测最终的LLM，有助于改进预训练设置。 - 论文《Bigger is not Always Better: Scaling Properties of Latent Diffusion Models》探讨了隐扩散模型的大小对采样效率的影响。 - 论文《Do Language Models Plan Ahead for Future Tokens?》通过实验发现Transformer能在推理阶段通过「预缓存」和「面包屑」机制预测未来信息。