Agenti Efficienti: Costruire Agenti Efficaci Riducendo i Costi

Efficient Agents: Building Effective Agents While Reducing Cost

July 24, 2025

Autori: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Abstract

Le straordinarie capacità degli agenti basati su Large Language Model (LLM) hanno permesso lo sviluppo di sistemi sofisticati in grado di affrontare compiti complessi e multi-step, ma i loro costi crescenti minacciano la scalabilità e l'accessibilità. Questo lavoro presenta il primo studio sistematico del compromesso tra efficienza ed efficacia nei moderni sistemi di agenti, affrontando la necessità critica di design economicamente vantaggiosi senza sacrificare le prestazioni. Esploriamo tre domande chiave: (1) Quanta complessità richiedono intrinsecamente i compiti agentici? (2) Quando i moduli aggiuntivi producono rendimenti decrescenti? (3) Quanta efficienza può essere ottenuta attraverso il design di framework di agenti efficienti? Attraverso un'analisi empirica sul benchmark GAIA, valutiamo l'impatto della selezione del backbone LLM, dei design dei framework di agenti e delle strategie di scalabilità in fase di test. Utilizzando la metrica cost-of-pass, quantifichiamo il compromesso tra efficienza e prestazioni in queste dimensioni. I nostri risultati informano lo sviluppo di Efficient Agents, un nuovo framework di agenti che presenta una complessità ottimale rispetto ai requisiti dei compiti. Efficient Agents mantiene il 96,7% delle prestazioni di OWL, uno dei principali framework di agenti open-source, riducendo i costi operativi da 0,398 a 0,228, con un miglioramento del 28,4% nel cost-of-pass. Il nostro lavoro fornisce indicazioni pratiche per progettare sistemi di agenti efficienti e ad alte prestazioni, promuovendo l'accessibilità e la sostenibilità delle soluzioni guidate dall'IA.

English

The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.