에이전트 혼합(Mixture-of-Agents)이 대형 언어 모델의 능력을 향상시킨다

Mixture-of-Agents Enhances Large Language Model Capabilities

June 7, 2024

저자: Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou

cs.AI

초록

최근 대규모 언어 모델(LLM)의 발전은 자연어 이해 및 생성 작업에서 상당한 능력을 보여주고 있습니다. 점점 더 많은 LLM이 등장함에 따라, 여러 LLM의 집단적 전문성을 어떻게 활용할 것인지는 흥미로운 연구 방향입니다. 이를 위해, 우리는 Mixture-of-Agents(MoA) 방법론을 통해 여러 LLM의 집단적 강점을 활용하는 새로운 접근 방식을 제안합니다. 우리의 접근 방식에서는 각 계층이 여러 LLM 에이전트로 구성된 계층적 MoA 아키텍처를 구축합니다. 각 에이전트는 이전 계층의 모든 에이전트 출력을 보조 정보로 활용하여 응답을 생성합니다. MoA 모델은 AlpacaEval 2.0, MT-Bench 및 FLASK에서 GPT-4 Omni를 능가하는 최첨단 성능을 달성했습니다. 예를 들어, 오픈소스 LLM만을 사용한 우리의 MoA는 AlpacaEval 2.0에서 GPT-4 Omni의 57.5%에 비해 65.1%의 점수를 달성하며 상당한 격차로 선두를 차지했습니다.

English

Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) methodology. In our approach, we construct a layered MoA architecture wherein each layer comprises multiple LLM agents. Each agent takes all the outputs from agents in the previous layer as auxiliary information in generating its response. MoA models achieves state-of-art performance on AlpacaEval 2.0, MT-Bench and FLASK, surpassing GPT-4 Omni. For example, our MoA using only open-source LLMs is the leader of AlpacaEval 2.0 by a substantial gap, achieving a score of 65.1% compared to 57.5% by GPT-4 Omni.