Ottimizzazione: Ottimizzazione dell'Efficienza ed Efficacia per un Sistema Multi-Agente basato su LLM

Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System

October 10, 2024

Autori: Weize Chen, Jiarui Yuan, Chen Qian, Cheng Yang, Zhiyuan Liu, Maosong Sun

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) basati su sistemi multi-agente (MAS) mostrano un notevole potenziale nella risoluzione collaborativa dei problemi, ma affrontano ancora sfide critiche: bassa efficienza nella comunicazione, scarsa scalabilità e mancanza di metodi efficaci di ottimizzazione per l'aggiornamento dei parametri. Presentiamo Optima, un nuovo framework che affronta questi problemi migliorando significativamente sia l'efficienza della comunicazione che l'efficacia del compito nei MAS basati su LLM attraverso l'addestramento del LLM. Optima utilizza un paradigma iterativo di generazione, classificazione, selezione e addestramento con una funzione di ricompensa che bilancia le prestazioni del compito, l'efficienza dei token e la leggibilità della comunicazione. Esploriamo vari algoritmi di RL, tra cui il Supervised Fine-Tuning, la Direct Preference Optimization e i loro approcci ibridi, fornendo approfondimenti sui compromessi tra efficacia ed efficienza. Integriamo tecniche ispirate alla Ricerca dell'Albero di Monte Carlo per la generazione di dati DPO, trattando i turni di conversazione come nodi dell'albero per esplorare percorsi di interazione diversificati. Valutato su comuni compiti multi-agente, tra cui risposte asimmetriche alle domande e ragionamento complesso, Optima mostra miglioramenti consistenti e sostanziali rispetto alle basi di singoli agenti e ai MAS di base basati su Llama 3 8B, ottenendo fino a un guadagno di prestazioni fino a 2,8 volte con meno del 10\% di token nei compiti che richiedono un intenso scambio di informazioni. Inoltre, i guadagni di efficienza di Optima aprono nuove possibilità per sfruttare in modo più efficace l'elaborazione dell'informazione, portando a migliori leggi di scalabilità del tempo di inferenza. Affrontando le sfide fondamentali nei MAS basati su LLM, Optima mostra il potenziale verso MAS scalabili, efficienti ed efficaci (https://chenweize1998.github.io/optima-project-page).

English

Large Language Model (LLM) based multi-agent systems (MAS) show remarkable potential in collaborative problem-solving, yet they still face critical challenges: low communication efficiency, poor scalability, and a lack of effective parameter-updating optimization methods. We present Optima, a novel framework that addresses these issues by significantly enhancing both communication efficiency and task effectiveness in LLM-based MAS through LLM training. Optima employs an iterative generate, rank, select, and train paradigm with a reward function balancing task performance, token efficiency, and communication readability. We explore various RL algorithms, including Supervised Fine-Tuning, Direct Preference Optimization, and their hybrid approaches, providing insights into their effectiveness-efficiency trade-offs. We integrate Monte Carlo Tree Search-inspired techniques for DPO data generation, treating conversation turns as tree nodes to explore diverse interaction paths. Evaluated on common multi-agent tasks, including information-asymmetric question answering and complex reasoning, Optima shows consistent and substantial improvements over single-agent baselines and vanilla MAS based on Llama 3 8B, achieving up to 2.8x performance gain with less than 10\% tokens on tasks requiring heavy information exchange. Moreover, Optima's efficiency gains open new possibilities for leveraging inference-compute more effectively, leading to improved inference-time scaling laws. By addressing fundamental challenges in LLM-based MAS, Optima shows the potential towards scalable, efficient, and effective MAS (https://chenweize1998.github.io/optima-project-page).