Mixture-of-Agentsは大規模言語モデルの能力を強化する

Mixture-of-Agents Enhances Large Language Model Capabilities

June 7, 2024

著者: Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou

cs.AI

要旨

大規模言語モデル（LLM）の最近の進展は、自然言語理解と生成タスクにおいて大きな能力を示しています。LLMの数が増えるにつれ、複数のLLMの集合的な専門知識をどのように活用するかは、興味深い未開拓の方向性です。この目標に向けて、我々はMixture-of-Agents（MoA）メソドロジーを通じて複数のLLMの集合的な強みを活用する新しいアプローチを提案します。我々のアプローチでは、各層が複数のLLMエージェントで構成される階層型MoAアーキテクチャを構築します。各エージェントは、前の層のエージェントからの全ての出力を補助情報として利用し、自身の応答を生成します。MoAモデルは、AlpacaEval 2.0、MT-Bench、FLASKにおいて、GPT-4 Omniを上回る最先端の性能を達成しています。例えば、オープンソースのLLMのみを使用した我々のMoAは、AlpacaEval 2.0のリーダーであり、GPT-4 Omniの57.5%に対して65.1%のスコアを達成し、大きな差をつけています。

English

Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) methodology. In our approach, we construct a layered MoA architecture wherein each layer comprises multiple LLM agents. Each agent takes all the outputs from agents in the previous layer as auxiliary information in generating its response. MoA models achieves state-of-art performance on AlpacaEval 2.0, MT-Bench and FLASK, surpassing GPT-4 Omni. For example, our MoA using only open-source LLMs is the leader of AlpacaEval 2.0 by a substantial gap, achieving a score of 65.1% compared to 57.5% by GPT-4 Omni.