Optima: Otimizando a Efetividade e Eficiência para um Sistema Multiagente Baseado em LLM

Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System

October 10, 2024

Autores: Weize Chen, Jiarui Yuan, Chen Qian, Cheng Yang, Zhiyuan Liu, Maosong Sun

cs.AI

Resumo

Os Sistemas Multiagentes (MAS) baseados em Modelos de Linguagem Grande (LLM) demonstram um potencial notável na resolução colaborativa de problemas, porém ainda enfrentam desafios críticos: baixa eficiência de comunicação, escalabilidade limitada e falta de métodos eficazes de otimização de atualização de parâmetros. Apresentamos o Optima, um novo framework que aborda essas questões ao aprimorar significativamente tanto a eficiência de comunicação quanto a eficácia da tarefa em MAS baseados em LLM por meio do treinamento do LLM. O Optima emprega um paradigma iterativo de geração, classificação, seleção e treinamento com uma função de recompensa que equilibra o desempenho da tarefa, eficiência de tokens e legibilidade da comunicação. Exploramos vários algoritmos de RL, incluindo Ajuste Fino Supervisionado, Otimização Direta de Preferências e suas abordagens híbridas, fornecendo insights sobre os compromissos entre eficácia e eficiência. Integramos técnicas inspiradas em Monte Carlo Tree Search para geração de dados de ODP, tratando as trocas de conversa como nós de árvores para explorar caminhos de interação diversos. Avaliado em tarefas multiagentes comuns, incluindo perguntas assimétricas de resposta à informação e raciocínio complexo, o Optima mostra melhorias consistentes e substanciais em relação às bases de agentes únicos e MAS simples baseados no Llama 3 8B, alcançando até 2,8 vezes mais desempenho com menos de 10% de tokens em tarefas que exigem intenso intercâmbio de informações. Além disso, os ganhos de eficiência do Optima abrem novas possibilidades para aproveitar a inferência-computação de forma mais eficaz, levando a leis de escalonamento de tempo de inferência aprimoradas. Ao abordar desafios fundamentais em MAS baseados em LLM, o Optima demonstra o potencial para MAS escaláveis, eficientes e eficazes (https://chenweize1998.github.io/optima-project-page).

English

Large Language Model (LLM) based multi-agent systems (MAS) show remarkable potential in collaborative problem-solving, yet they still face critical challenges: low communication efficiency, poor scalability, and a lack of effective parameter-updating optimization methods. We present Optima, a novel framework that addresses these issues by significantly enhancing both communication efficiency and task effectiveness in LLM-based MAS through LLM training. Optima employs an iterative generate, rank, select, and train paradigm with a reward function balancing task performance, token efficiency, and communication readability. We explore various RL algorithms, including Supervised Fine-Tuning, Direct Preference Optimization, and their hybrid approaches, providing insights into their effectiveness-efficiency trade-offs. We integrate Monte Carlo Tree Search-inspired techniques for DPO data generation, treating conversation turns as tree nodes to explore diverse interaction paths. Evaluated on common multi-agent tasks, including information-asymmetric question answering and complex reasoning, Optima shows consistent and substantial improvements over single-agent baselines and vanilla MAS based on Llama 3 8B, achieving up to 2.8x performance gain with less than 10\% tokens on tasks requiring heavy information exchange. Moreover, Optima's efficiency gains open new possibilities for leveraging inference-compute more effectively, leading to improved inference-time scaling laws. By addressing fundamental challenges in LLM-based MAS, Optima shows the potential towards scalable, efficient, and effective MAS (https://chenweize1998.github.io/optima-project-page).