Optima：优化基于LLM的多智能体系统的有效性和效率

这篇论文介绍了一种旨在提高基于大型语言模型（LLM）的多智能体系统性能的新型框架。该研究的重点是开发了Optima，通过创新的训练方法提高了通信效率和任务效果。该框架通过一个包括生成、排名、选择和训练的迭代过程，利用平衡各种性能指标的奖励函数。研究探讨了不同的强化学习算法，并提供了它们在效率和效果之间的权衡见解。值得注意的是，Optima集成了受蒙特卡洛树搜索启发的技术，用于生成多样化的交互路径，这是在这一领域中数据生成的独特方法。结果显示，Optima在需要大量信息交换的任务上，可以实现高达2.8倍的性能增益，同时使用的令牌数量不到其他方法的10％。这篇论文对于从事多智能体系统和LLM开发的人员可能特别有趣，因为它是朝着更具可扩展性、高效性和有效性的系统迈出的重要一步。- Optima是一个新颖的框架，通过LLM训练显著提高LLM基于MAS中的通信效率和任务效果。 - Optima采用迭代的生成、排序、选择和训练范式，通过平衡任务性能、令牌效率和通信可读性的奖励函数来解决低通信效率、可扩展性差和缺乏有效参数更新优化方法的问题。 - Optima探索了各种强化学习算法，包括监督微调、直接偏好优化以及它们的混合方法，提供了关于它们效果和效率权衡的见解。 - Optima在常见的多智能体任务上进行评估，包括信息不对称的问答和复杂推理，相对于单智能体基线和基于Llama 3 8B的普通MAS，Optima表现出一致且显著的改进，对于需要大量信息交换的任务，性能提升最多可达2.8倍，令牌使用量不到10%。 - Optima的效率提升为更有效地利用推理计算提供了新的可能性，从而改善了推理时间的缩放规律。 - Optima通过解决LLM基于MAS中的基本挑战，展示了可扩展、高效和有效的MAS的潜力。