Agentes Eficientes: Construindo Agentes Efetivos com Redução de Custos

Efficient Agents: Building Effective Agents While Reducing Cost

July 24, 2025

Autores: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Resumo

As capacidades notáveis dos agentes impulsionados por Modelos de Linguagem de Grande Escala (LLMs) permitiram que sistemas sofisticados abordassem tarefas complexas e de múltiplas etapas, mas seus custos crescentes ameaçam a escalabilidade e a acessibilidade. Este trabalho apresenta o primeiro estudo sistemático da relação entre eficiência e eficácia em sistemas de agentes modernos, abordando a necessidade crítica de designs econômicos sem sacrificar o desempenho. Investigamos três questões principais: (1) Quanta complexidade as tarefas agentes exigem intrinsecamente? (2) Quando módulos adicionais geram retornos decrescentes? (3) Quanta eficiência pode ser obtida por meio do design de frameworks de agentes eficientes? Por meio de uma análise empírica no benchmark GAIA, avaliamos o impacto da seleção do backbone de LLM, dos designs de frameworks de agentes e das estratégias de escalonamento em tempo de teste. Utilizando a métrica de custo por passagem, quantificamos a relação entre eficiência e desempenho nessas dimensões. Nossas descobertas informam o desenvolvimento dos Agentes Eficientes, um novo framework de agentes que possui uma complexidade ideal para os requisitos das tarefas. Os Agentes Eficientes retêm 96,7% do desempenho do OWL, um dos principais frameworks de agentes de código aberto, enquanto reduzem os custos operacionais de 0,398 para 0,228, resultando em uma melhoria de 28,4% no custo por passagem. Nosso trabalho fornece insights acionáveis para projetar sistemas de agentes eficientes e de alto desempenho, avançando a acessibilidade e a sustentabilidade de soluções impulsionadas por IA.

English

The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.