Die Mischung von Agenten verbessert die Fähigkeiten großer Sprachmodelle.

Mixture-of-Agents Enhances Large Language Model Capabilities

June 7, 2024

Autoren: Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou

cs.AI

Zusammenfassung

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) zeigen erhebliche Fähigkeiten in natürlicher Sprachverarbeitung und Generierungsaufgaben. Mit der zunehmenden Anzahl von LLMs ist es eine spannende offene Richtung, wie man das kollektive Fachwissen mehrerer LLMs nutzen kann. Auf dieses Ziel hin schlagen wir einen neuen Ansatz vor, der die kollektiven Stärken mehrerer LLMs durch eine Mixture-of-Agents (MoA) Methodik nutzt. In unserem Ansatz konstruieren wir eine geschichtete MoA-Architektur, bei der jede Schicht aus mehreren LLM-Agenten besteht. Jeder Agent verwendet alle Ausgaben der Agenten in der vorherigen Schicht als Hilfsinformation zur Generierung seiner Antwort. MoA-Modelle erzielen Spitzenleistungen bei AlpacaEval 2.0, MT-Bench und FLASK und übertreffen GPT-4 Omni. Zum Beispiel ist unser MoA, das nur Open-Source LLMs verwendet, der Spitzenreiter von AlpacaEval 2.0 mit einem deutlichen Vorsprung, indem es einen Score von 65,1% im Vergleich zu 57,5% von GPT-4 Omni erreicht.

English

Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) methodology. In our approach, we construct a layered MoA architecture wherein each layer comprises multiple LLM agents. Each agent takes all the outputs from agents in the previous layer as auxiliary information in generating its response. MoA models achieves state-of-art performance on AlpacaEval 2.0, MT-Bench and FLASK, surpassing GPT-4 Omni. For example, our MoA using only open-source LLMs is the leader of AlpacaEval 2.0 by a substantial gap, achieving a score of 65.1% compared to 57.5% by GPT-4 Omni.