Efficiënte Agents: Effectieve Agents Bouwen terwijl de Kosten worden Verlaagd

Efficient Agents: Building Effective Agents While Reducing Cost

July 24, 2025

Auteurs: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Samenvatting

De opmerkelijke capaciteiten van agenten aangedreven door Large Language Models (LLM) hebben geavanceerde systemen in staat gesteld om complexe, meerstaps taken aan te pakken, maar hun stijgende kosten vormen een bedreiging voor schaalbaarheid en toegankelijkheid. Dit werk presenteert de eerste systematische studie van de efficiëntie-effectiviteit afweging in moderne agentsystemen, waarbij de kritieke behoefte aan kosteneffectieve ontwerpen zonder prestatieverlies wordt aangepakt. We onderzoeken drie belangrijke vragen: (1) Hoeveel complexiteit vereisen agenttaken inherent? (2) Wanneer leveren aanvullende modules afnemende meeropbrengsten op? (3) Hoeveel efficiëntie kan worden behaald door het ontwerp van efficiënte agentframeworks? Door middel van een empirische analyse op de GAIA-benchmark evalueren we de impact van de selectie van LLM-backbones, het ontwerp van agentframeworks en schaalstrategieën tijdens testen. Met behulp van de cost-of-pass metriek kwantificeren we de efficiëntie-prestatie afweging over deze dimensies. Onze bevindingen informeren de ontwikkeling van Efficient Agents, een nieuw agentframework met een optimale complexiteit die aansluit bij taakeisen. Efficient Agents behoudt 96,7% van de prestaties van OWL, een toonaangevend open-source agentframework, terwijl de operationele kosten worden verlaagd van 0,398 naar 0,228, wat resulteert in een verbetering van 28,4% in cost-of-pass. Ons werk biedt praktische inzichten voor het ontwerpen van efficiënte, hoogpresterende agentsystemen, waardoor de toegankelijkheid en duurzaamheid van AI-gedreven oplossingen worden bevorderd.

English

The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.