Effiziente Agenten: Entwicklung effektiver Agenten bei gleichzeitiger Kostenreduzierung

Efficient Agents: Building Effective Agents While Reducing Cost

July 24, 2025

papers.authors: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

papers.abstract

Die bemerkenswerten Fähigkeiten von Large Language Model (LLM)-gesteuerten Agenten haben es fortschrittlichen Systemen ermöglicht, komplexe, mehrstufige Aufgaben zu bewältigen, doch ihre steigenden Kosten gefährden die Skalierbarkeit und Zugänglichkeit. Diese Arbeit präsentiert die erste systematische Studie zum Effizienz-Effektivitäts-Kompromiss in modernen Agentensystemen und adressiert den kritischen Bedarf an kosteneffizienten Designs ohne Leistungseinbußen. Wir untersuchen drei zentrale Fragen: (1) Wie viel Komplexität erfordern agentenbasierte Aufgaben inhärent? (2) Wann führen zusätzliche Module zu abnehmenden Erträgen? (3) Wie viel Effizienz kann durch das Design effizienter Agenten-Frameworks gewonnen werden? Durch eine empirische Analyse auf dem GAIA-Benchmark bewerten wir die Auswirkungen der LLM-Backbone-Auswahl, der Agenten-Framework-Designs und der Skalierungsstrategien zur Testzeit. Mithilfe der Cost-of-Pass-Metrik quantifizieren wir den Effizienz-Leistungs-Kompromiss in diesen Dimensionen. Unsere Erkenntnisse informieren die Entwicklung von Efficient Agents, einem neuartigen Agenten-Framework, das eine optimale Komplexität in Bezug auf die Aufgabenanforderungen aufweist. Efficient Agents behält 96,7 % der Leistung von OWL, einem führenden Open-Source-Agenten-Framework, bei und reduziert gleichzeitig die Betriebskosten von 0,398 auf 0,228, was einer Verbesserung des Cost-of-Pass um 28,4 % entspricht. Unsere Arbeit liefert umsetzbare Erkenntnisse für die Gestaltung effizienter, leistungsstarker Agentensysteme und fördert die Zugänglichkeit und Nachhaltigkeit von KI-gestützten Lösungen.

English

The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.