Оптима: Оптимизация эффективности и эффективности для мультиагентной системы на основе LLM.

Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System

October 10, 2024

Авторы: Weize Chen, Jiarui Yuan, Chen Qian, Cheng Yang, Zhiyuan Liu, Maosong Sun

cs.AI

Аннотация

Модели большого языка (LLM) на основе мультиагентных систем (MAS) демонстрируют выдающийся потенциал в коллективном решении проблем, однако они все еще сталкиваются с критическими вызовами: низкой эффективностью коммуникации, плохой масштабируемостью и отсутствием эффективных методов оптимизации обновления параметров. Мы представляем Optima, новую концепцию, которая решает эти проблемы, значительно улучшая как эффективность коммуникации, так и эффективность задач в LLM-основанных MAS через обучение LLM. Optima использует итеративную парадигму генерации, ранжирования, выбора и обучения с функцией вознаграждения, балансирующей производительность задачи, эффективность токенов и читаемость коммуникации. Мы исследуем различные алгоритмы обучения с подкреплением, включая Обучение с Учителем, Прямую Оптимизацию Предпочтений и их гибридные подходы, предоставляя понимание их компромиссов между эффективностью и эффективностью. Мы интегрируем техники, вдохновленные Монте-Карло поиска по дереву, для генерации данных DPO, рассматривая ходы разговора как узлы дерева для исследования разнообразных путей взаимодействия. Оценивая на общих мультиагентных задачах, включая асимметричные по информации вопросы и сложное рассуждение, Optima показывает последовательные и существенные улучшения по сравнению с базовыми одноагентными подходами и ванильными MAS на основе Llama 3 8B, достигая до 2,8-кратного увеличения производительности с менее чем 10\% токенов на задачах, требующих интенсивного обмена информацией. Более того, повышение эффективности Optima открывает новые возможности для более эффективного использования вывода-вычисления, что приводит к улучшению законов масштабирования времени вывода. Решая фундаментальные вызовы в LLM-основанных MAS, Optima демонстрирует потенциал к масштабируемым, эффективным и эффективным MAS (https://chenweize1998.github.io/optima-project-page).

English

Large Language Model (LLM) based multi-agent systems (MAS) show remarkable potential in collaborative problem-solving, yet they still face critical challenges: low communication efficiency, poor scalability, and a lack of effective parameter-updating optimization methods. We present Optima, a novel framework that addresses these issues by significantly enhancing both communication efficiency and task effectiveness in LLM-based MAS through LLM training. Optima employs an iterative generate, rank, select, and train paradigm with a reward function balancing task performance, token efficiency, and communication readability. We explore various RL algorithms, including Supervised Fine-Tuning, Direct Preference Optimization, and their hybrid approaches, providing insights into their effectiveness-efficiency trade-offs. We integrate Monte Carlo Tree Search-inspired techniques for DPO data generation, treating conversation turns as tree nodes to explore diverse interaction paths. Evaluated on common multi-agent tasks, including information-asymmetric question answering and complex reasoning, Optima shows consistent and substantial improvements over single-agent baselines and vanilla MAS based on Llama 3 8B, achieving up to 2.8x performance gain with less than 10\% tokens on tasks requiring heavy information exchange. Moreover, Optima's efficiency gains open new possibilities for leveraging inference-compute more effectively, leading to improved inference-time scaling laws. By addressing fundamental challenges in LLM-based MAS, Optima shows the potential towards scalable, efficient, and effective MAS (https://chenweize1998.github.io/optima-project-page).