ChatPaper.aiChatPaper

Эффективные агенты: создание результативных агентов при снижении затрат

Efficient Agents: Building Effective Agents While Reducing Cost

July 24, 2025
Авторы: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou
cs.AI

Аннотация

Выдающиеся возможности агентов на основе крупных языковых моделей (LLM) позволили создавать сложные системы для решения многошаговых задач, однако их растущие затраты угрожают масштабируемости и доступности. В данной работе представлено первое систематическое исследование компромисса между эффективностью и производительностью в современных агентских системах, что отвечает критической потребности в экономически эффективных решениях без ущерба для производительности. Мы исследуем три ключевых вопроса: (1) Какой уровень сложности изначально требуется для агентских задач? (2) Когда дополнительные модули начинают приносить убывающую отдачу? (3) Насколько можно повысить эффективность за счет проектирования оптимизированных агентских фреймворков? Проведя эмпирический анализ на базе бенчмарка GAIA, мы оцениваем влияние выбора базовой LLM, дизайна агентских фреймворков и стратегий масштабирования на этапе тестирования. Используя метрику cost-of-pass, мы количественно измеряем компромисс между эффективностью и производительностью в этих аспектах. Наши результаты легли в основу разработки Efficient Agents — нового агентского фреймворка, обладающего оптимальной сложностью, соответствующей требованиям задач. Efficient Agents сохраняет 96,7% производительности OWL, одного из ведущих открытых агентских фреймворков, при этом снижая операционные затраты с 0,398 до 0,228, что приводит к улучшению показателя cost-of-pass на 28,4%. Наша работа предоставляет практические рекомендации для проектирования эффективных и высокопроизводительных агентских систем, способствуя повышению доступности и устойчивости решений на основе искусственного интеллекта.
English
The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.
PDF772August 7, 2025