Optima: Het optimaliseren van effectiviteit en efficiëntie voor een op LLM gebaseerd multi-agent systeem

Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System

October 10, 2024

Auteurs: Weize Chen, Jiarui Yuan, Chen Qian, Cheng Yang, Zhiyuan Liu, Maosong Sun

cs.AI

Samenvatting

Grote Taalmodel (GTM) gebaseerde multi-agent systemen (MAS) tonen opmerkelijk potentieel in samenwerkend probleemoplossen, maar staan nog steeds voor kritieke uitdagingen: lage communicatie-efficiëntie, beperkte schaalbaarheid en een gebrek aan effectieve optimalisatiemethoden voor parameter-updating. We presenteren Optima, een nieuw raamwerk dat deze kwesties aanpakt door zowel de communicatie-efficiëntie als de taakeffectiviteit aanzienlijk te verbeteren in GTM-gebaseerde MAS door middel van GTM-training. Optima maakt gebruik van een iteratief genereren, rangschikken, selecteren en trainen paradigma met een beloningsfunctie die taakprestaties, token-efficiëntie en communicatie leesbaarheid in balans brengt. We verkennen verschillende RL-algoritmes, waaronder Supervised Fine-Tuning, Direct Preference Optimization, en hun hybride benaderingen, waarbij inzichten worden geboden in hun effectiviteit-efficiëntie trade-offs. We integreren Monte Carlo Tree Search-geïnspireerde technieken voor DPO-datageneratie, waarbij gespreksbeurten als boomknopen worden behandeld om diverse interactiepaden te verkennen. Geëvalueerd op gangbare multi-agent taken, waaronder informatie-asymmetrische vraagbeantwoording en complex redeneren, toont Optima consistente en aanzienlijke verbeteringen ten opzichte van single-agent baselines en standaard MAS gebaseerd op Llama 3 8B, met een prestatiewinst tot 2.8x met minder dan 10% tokens op taken die zware informatie-uitwisseling vereisen. Bovendien openen de efficiëntiewinsten van Optima nieuwe mogelijkheden om inferentie-berekeningen effectiever te benutten, wat leidt tot verbeterde schalingswetten voor inferentietijd. Door fundamentele uitdagingen in GTM-gebaseerde MAS aan te pakken, toont Optima het potentieel voor schaalbare, efficiënte en effectieve MAS (https://chenweize1998.github.io/optima-project-page).

English

Large Language Model (LLM) based multi-agent systems (MAS) show remarkable potential in collaborative problem-solving, yet they still face critical challenges: low communication efficiency, poor scalability, and a lack of effective parameter-updating optimization methods. We present Optima, a novel framework that addresses these issues by significantly enhancing both communication efficiency and task effectiveness in LLM-based MAS through LLM training. Optima employs an iterative generate, rank, select, and train paradigm with a reward function balancing task performance, token efficiency, and communication readability. We explore various RL algorithms, including Supervised Fine-Tuning, Direct Preference Optimization, and their hybrid approaches, providing insights into their effectiveness-efficiency trade-offs. We integrate Monte Carlo Tree Search-inspired techniques for DPO data generation, treating conversation turns as tree nodes to explore diverse interaction paths. Evaluated on common multi-agent tasks, including information-asymmetric question answering and complex reasoning, Optima shows consistent and substantial improvements over single-agent baselines and vanilla MAS based on Llama 3 8B, achieving up to 2.8x performance gain with less than 10\% tokens on tasks requiring heavy information exchange. Moreover, Optima's efficiency gains open new possibilities for leveraging inference-compute more effectively, leading to improved inference-time scaling laws. By addressing fundamental challenges in LLM-based MAS, Optima shows the potential towards scalable, efficient, and effective MAS (https://chenweize1998.github.io/optima-project-page).