论文略读：Mixture-of-Agents Enhances Large Language Model Capabilities

 iclr 2025 spotlight 6888

• 近期大语言模型（LLMs）在自然语言理解与生成任务中展现出强大能力。随着 LLM 数量的不断增长，如何有效整合多个 LLM 的集体智慧成为一个令人期待的开放研究方向。
• 论文提出了一种新方法，采用 Mixture-of-Agents（MoA）机制来汇聚多个 LLM 的优势。
  • 构建了一个分层式 MoA 架构，其中每一层包含多个 LLM 代理（agent）。
  • 每个代理在生成响应时，都会将前一层中所有代理的输出作为辅助信息。
• MoA 模型在多个基准上实现了当前最优性能，包括 AlpacaEval 2.0、Arena-Hard、MT-Bench 和 FLASK，其表现超越了 GPT-4 Omni。