효율적인 에이전트: 비용 절감과 동시에 효과적인 에이전트 구축

Efficient Agents: Building Effective Agents While Reducing Cost

July 24, 2025

저자: Ningning Wang, Xavier Hu, Pai Liu, He Zhu, Yue Hou, Heyuan Huang, Shengyu Zhang, Jian Yang, Jiaheng Liu, Ge Zhang, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

초록

대형 언어 모델(LLM) 기반 에이전트의 놀라운 능력은 복잡하고 다단계 작업을 처리할 수 있는 정교한 시스템을 가능하게 했지만, 그 비용의 증가는 확장성과 접근성을 위협하고 있다. 본 연구는 성능을 희생하지 않으면서도 비용 효율적인 설계의 중요성을 다루며, 현대 에이전트 시스템에서 효율성과 효과성 간의 상충 관계에 대한 첫 번째 체계적인 연구를 제시한다. 우리는 세 가지 핵심 질문을 탐구한다: (1) 에이전트 작업이 본질적으로 얼마나 복잡성을 요구하는가? (2) 추가 모듈이 언제 수익 체감을 초래하는가? (3) 효율적인 에이전트 프레임워크 설계를 통해 얼마나 많은 효율성을 얻을 수 있는가? GAIA 벤치마크에 대한 실증적 분석을 통해 LLM 백본 선택, 에이전트 프레임워크 설계, 테스트 시 스케일링 전략의 영향을 평가한다. 비용 대비 성능 지표(cost-of-pass metric)를 사용하여 이러한 차원에서의 효율성과 성능 간의 상충 관계를 정량화한다. 우리의 연구 결과는 작업 요구 사항에 최적의 복잡성을 갖춘 새로운 에이전트 프레임워크인 Efficient Agents의 개발에 기여한다. Efficient Agents는 선도적인 오픈소스 에이전트 프레임워크 중 하나인 OWL의 성능을 96.7% 유지하면서 운영 비용을 0.398에서 0.228로 줄여 비용 대비 성능 지표에서 28.4%의 개선을 달성한다. 본 연구는 효율적이고 고성능의 에이전트 시스템 설계를 위한 실행 가능한 통찰을 제공함으로써 AI 기반 솔루션의 접근성과 지속 가능성을 진전시킨다.

English

The remarkable capabilities of Large Language Model (LLM)-driven agents have enabled sophisticated systems to tackle complex, multi-step tasks, but their escalating costs threaten scalability and accessibility. This work presents the first systematic study of the efficiency-effectiveness trade-off in modern agent systems, addressing the critical need for cost-effective designs without sacrificing performance. We investigate three key questions: (1) How much complexity do agentic tasks inherently require? (2) When do additional modules yield diminishing returns? (3) How much efficiency can be gained through the design of efficient agent frameworks? Through an empirical analysis on the GAIA benchmark, we evaluate the impact of LLM backbone selection, agent framework designs, and test-time scaling strategies. Using the cost-of-pass metric, we quantify the efficiency-performance trade-off across these dimensions. Our findings inform the development of Efficient Agents , a novel agent framework that has an optimal complexity to task requirements. Efficient Agents retains 96.7% of the performance of OWL, one leading open-source agent framework, while reducing operational costs from 0.398 to 0.228, resulting in a 28.4% improvement in cost-of-pass. Our work provides actionable insights for designing efficient, high-performing agent systems, advancing the accessibility and sustainability of AI-driven solutions.