Le Modèle de Mélange d'Agents Améliore les Capacités des Grands Modèles de Langage

Mixture-of-Agents Enhances Large Language Model Capabilities

June 7, 2024

Auteurs: Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou

cs.AI

Résumé

Les récents progrès des grands modèles de langage (LLMs) démontrent des capacités substantielles dans les tâches de compréhension et de génération du langage naturel. Avec l'augmentation du nombre de LLMs, la manière d'exploiter l'expertise collective de plusieurs LLMs constitue une direction de recherche prometteuse. Dans cette optique, nous proposons une nouvelle approche qui tire parti des forces collectives de plusieurs LLMs grâce à une méthodologie de Mélange-d'Agents (Mixture-of-Agents, MoA). Dans notre approche, nous construisons une architecture MoA en couches où chaque couche comprend plusieurs agents LLM. Chaque agent utilise toutes les sorties des agents de la couche précédente comme informations auxiliaires pour générer sa réponse. Les modèles MoA atteignent des performances de pointe sur AlpacaEval 2.0, MT-Bench et FLASK, surpassant GPT-4 Omni. Par exemple, notre MoA utilisant uniquement des LLMs open source est en tête d'AlpacaEval 2.0 avec un écart significatif, obtenant un score de 65,1 % contre 57,5 % pour GPT-4 Omni.

English

Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) methodology. In our approach, we construct a layered MoA architecture wherein each layer comprises multiple LLM agents. Each agent takes all the outputs from agents in the previous layer as auxiliary information in generating its response. MoA models achieves state-of-art performance on AlpacaEval 2.0, MT-Bench and FLASK, surpassing GPT-4 Omni. For example, our MoA using only open-source LLMs is the leader of AlpacaEval 2.0 by a substantial gap, achieving a score of 65.1% compared to 57.5% by GPT-4 Omni.