Óptima: Optimizando la Efectividad y Eficiencia para un Sistema Multiagente Basado en LLM

Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System

October 10, 2024

Autores: Weize Chen, Jiarui Yuan, Chen Qian, Cheng Yang, Zhiyuan Liu, Maosong Sun

cs.AI

Resumen

Los Sistemas Multiagente (MAS) basados en Modelos de Lenguaje Grande (LLM) muestran un potencial notable en la resolución colaborativa de problemas, sin embargo, todavía enfrentan desafíos críticos: baja eficiencia de comunicación, escasa escalabilidad y falta de métodos de optimización efectivos para la actualización de parámetros. Presentamos Optima, un marco novedoso que aborda estos problemas al mejorar significativamente tanto la eficiencia de comunicación como la efectividad de tareas en MAS basados en LLM a través del entrenamiento de LLM. Optima emplea un paradigma iterativo de generación, clasificación, selección y entrenamiento con una función de recompensa que equilibra el rendimiento de la tarea, la eficiencia de tokens y la legibilidad de la comunicación. Exploramos varios algoritmos de RL, incluyendo Ajuste Fino Supervisado, Optimización Directa de Preferencias y sus enfoques híbridos, proporcionando información sobre sus compensaciones de efectividad-eficiencia. Integramos técnicas inspiradas en la Búsqueda de Árbol de Monte Carlo para la generación de datos de DPO, tratando los turnos de conversación como nodos de árbol para explorar diversos caminos de interacción. Evaluado en tareas multiagente comunes, incluyendo respuestas asimétricas de información y razonamiento complejo, Optima muestra mejoras consistentes y sustanciales sobre líneas base de un solo agente y MAS básicos basados en Llama 3 8B, logrando hasta un aumento de rendimiento de 2.8 veces con menos del 10\% de tokens en tareas que requieren un intercambio intenso de información. Además, las ganancias de eficiencia de Optima abren nuevas posibilidades para aprovechar la inferencia-cómputo de manera más efectiva, lo que conduce a leyes de escalado de tiempo de inferencia mejoradas. Al abordar desafíos fundamentales en MAS basados en LLM, Optima muestra el potencial hacia MAS escalables, eficientes y efectivos (https://chenweize1998.github.io/optima-project-page).

English

Large Language Model (LLM) based multi-agent systems (MAS) show remarkable potential in collaborative problem-solving, yet they still face critical challenges: low communication efficiency, poor scalability, and a lack of effective parameter-updating optimization methods. We present Optima, a novel framework that addresses these issues by significantly enhancing both communication efficiency and task effectiveness in LLM-based MAS through LLM training. Optima employs an iterative generate, rank, select, and train paradigm with a reward function balancing task performance, token efficiency, and communication readability. We explore various RL algorithms, including Supervised Fine-Tuning, Direct Preference Optimization, and their hybrid approaches, providing insights into their effectiveness-efficiency trade-offs. We integrate Monte Carlo Tree Search-inspired techniques for DPO data generation, treating conversation turns as tree nodes to explore diverse interaction paths. Evaluated on common multi-agent tasks, including information-asymmetric question answering and complex reasoning, Optima shows consistent and substantial improvements over single-agent baselines and vanilla MAS based on Llama 3 8B, achieving up to 2.8x performance gain with less than 10\% tokens on tasks requiring heavy information exchange. Moreover, Optima's efficiency gains open new possibilities for leveraging inference-compute more effectively, leading to improved inference-time scaling laws. By addressing fundamental challenges in LLM-based MAS, Optima shows the potential towards scalable, efficient, and effective MAS (https://chenweize1998.github.io/optima-project-page).