効率的なエージェント：コスト削減を図りつつ効果的なエージェントを構築する

Efficient Agents: Building Effective Agents While Reducing Cost

July 24, 2025

著者: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

要旨

大規模言語モデル（LLM）駆動エージェントの顕著な能力により、複雑な多段階タスクに対処する高度なシステムが実現されているが、そのコストの増大はスケーラビリティとアクセシビリティを脅かしている。本研究は、性能を犠牲にすることなくコスト効率の高い設計を実現するための重要なニーズに対応し、現代のエージェントシステムにおける効率性と有効性のトレードオフについて初めて体系的に検証するものである。我々は以下の3つの主要な問いに焦点を当てる：（1）エージェントタスクは本質的にどの程度の複雑性を必要とするか？（2）追加モジュールが収穫逓減をもたらすのはどのような場合か？（3）効率的なエージェントフレームワークの設計を通じて、どの程度の効率性を向上させることができるか？GAIAベンチマークを用いた実証分析を通じて、LLMバックボーンの選択、エージェントフレームワークの設計、およびテスト時のスケーリング戦略の影響を評価する。コスト・オブ・パス指標を用いて、これらの次元における効率性と性能のトレードオフを定量化する。我々の知見に基づき、タスク要件に最適な複雑性を持つ新たなエージェントフレームワーク「Efficient Agents」を開発した。Efficient Agentsは、主要なオープンソースエージェントフレームワークであるOWLの性能の96.7%を維持しつつ、運用コストを0.398から0.228に削減し、コスト・オブ・パスを28.4%改善した。本研究は、効率的で高性能なエージェントシステムを設計するための実践的な洞察を提供し、AI駆動ソリューションのアクセシビリティと持続可能性を推進するものである。

English

The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.