Смесь агентов улучшает возможности большой языковой модели

Mixture-of-Agents Enhances Large Language Model Capabilities

June 7, 2024

Авторы: Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou

cs.AI

Аннотация

Недавние достижения в области крупных языковых моделей (LLM) демонстрируют значительные возможности в понимании и генерации естественного языка. С увеличением количества LLM возникает вопрос о том, как использовать коллективные знания нескольких LLM, что представляет собой увлекательное направление исследований. Для достижения этой цели мы предлагаем новый подход, который использует коллективные сильные стороны нескольких LLM с помощью методологии Смеси Агентов (MoA). В нашем подходе мы строим слоистую архитектуру MoA, в которой каждый слой состоит из нескольких агентов LLM. Каждый агент использует все выходные данные агентов предыдущего слоя в качестве вспомогательной информации при генерации своего ответа. Модели MoA достигают передовых результатов на AlpacaEval 2.0, MT-Bench и FLASK, превосходя GPT-4 Omni. Например, наша MoA, использующая только открытые LLM, является лидером AlpacaEval 2.0 с существенным отрывом, достигая показателя 65,1% по сравнению с 57,5% у GPT-4 Omni.

English

Recent advances in large language models (LLMs) demonstrate substantial capabilities in natural language understanding and generation tasks. With the growing number of LLMs, how to harness the collective expertise of multiple LLMs is an exciting open direction. Toward this goal, we propose a new approach that leverages the collective strengths of multiple LLMs through a Mixture-of-Agents (MoA) methodology. In our approach, we construct a layered MoA architecture wherein each layer comprises multiple LLM agents. Each agent takes all the outputs from agents in the previous layer as auxiliary information in generating its response. MoA models achieves state-of-art performance on AlpacaEval 2.0, MT-Bench and FLASK, surpassing GPT-4 Omni. For example, our MoA using only open-source LLMs is the leader of AlpacaEval 2.0 by a substantial gap, achieving a score of 65.1% compared to 57.5% by GPT-4 Omni.