Optima: Optimierung von Effektivität und Effizienz für ein auf LLM basierendes Multi-Agenten-System

Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System

October 10, 2024

Autoren: Weize Chen, Jiarui Yuan, Chen Qian, Cheng Yang, Zhiyuan Liu, Maosong Sun

cs.AI

Zusammenfassung

Große Sprachmodell (LLM)-basierte Multi-Agenten-Systeme (MAS) zeigen bemerkenswertes Potenzial bei der kollaborativen Problemlösung, stehen jedoch immer noch vor kritischen Herausforderungen: geringe Kommunikationseffizienz, schlechte Skalierbarkeit und ein Mangel an effektiven Optimierungsmethoden für die Parameteraktualisierung. Wir stellen Optima vor, ein neuartiges Framework, das diese Probleme durch eine signifikante Verbesserung sowohl der Kommunikationseffizienz als auch der Aufgabeneffektivität in LLM-basierten MAS durch LLM-Training angeht. Optima verwendet ein iteratives Generieren, Rangieren, Auswählen und Trainieren-Paradigma mit einer Belohnungsfunktion, die die Aufgabenausführung, Token-Effizienz und Kommunikationslesbarkeit ausbalanciert. Wir untersuchen verschiedene RL-Algorithmen, einschließlich Überwachtes Feintuning, Direkte Präferenzoptimierung und deren hybride Ansätze, um Einblicke in ihre Effektivitäts-Effizienz-Abwägungen zu geben. Wir integrieren Monte Carlo Tree Search-inspirierte Techniken für die DPO-Datengenerierung, behandeln Gesprächswendungen als Baumknoten, um verschiedene Interaktionspfade zu erkunden. Anhand gängiger Multi-Agenten-Aufgaben, einschließlich informationsasymmetrischer Fragebeantwortung und komplexer Schlussfolgerungen, zeigt Optima konsistente und signifikante Verbesserungen gegenüber Einzelagenten-Baselines und Vanilla-MAS basierend auf Llama 3 8B, mit einer Leistungssteigerung um bis zu 2,8-fach bei weniger als 10\% der Tokens bei Aufgaben, die einen intensiven Informationsaustausch erfordern. Darüber hinaus eröffnen die Effizienzgewinne von Optima neue Möglichkeiten, um Inferenz-Berechnungen effektiver zu nutzen, was zu verbesserten Skalierungsgesetzen für die Inferenzzeit führt. Indem Optima grundlegende Herausforderungen in LLM-basierten MAS angeht, zeigt es das Potenzial für skalierbare, effiziente und effektive MAS (https://chenweize1998.github.io/optima-project-page).

English

Large Language Model (LLM) based multi-agent systems (MAS) show remarkable potential in collaborative problem-solving, yet they still face critical challenges: low communication efficiency, poor scalability, and a lack of effective parameter-updating optimization methods. We present Optima, a novel framework that addresses these issues by significantly enhancing both communication efficiency and task effectiveness in LLM-based MAS through LLM training. Optima employs an iterative generate, rank, select, and train paradigm with a reward function balancing task performance, token efficiency, and communication readability. We explore various RL algorithms, including Supervised Fine-Tuning, Direct Preference Optimization, and their hybrid approaches, providing insights into their effectiveness-efficiency trade-offs. We integrate Monte Carlo Tree Search-inspired techniques for DPO data generation, treating conversation turns as tree nodes to explore diverse interaction paths. Evaluated on common multi-agent tasks, including information-asymmetric question answering and complex reasoning, Optima shows consistent and substantial improvements over single-agent baselines and vanilla MAS based on Llama 3 8B, achieving up to 2.8x performance gain with less than 10\% tokens on tasks requiring heavy information exchange. Moreover, Optima's efficiency gains open new possibilities for leveraging inference-compute more effectively, leading to improved inference-time scaling laws. By addressing fundamental challenges in LLM-based MAS, Optima shows the potential towards scalable, efficient, and effective MAS (https://chenweize1998.github.io/optima-project-page).