OAgents: 효과적인 에이전트 구축에 관한 실증적 연구

OAgents: An Empirical Study of Building Effective Agents

June 17, 2025

저자: He Zhu, Tianrui Qin, King Zhu, Heyuan Huang, Yeyi Guan, Jinxiang Xia, Yi Yao, Hanhao Li, Ningning Wang, Pai Liu, Tianhao Peng, Xin Gui, Xiaowan Li, Yuhui Liu, Yuchen Eleanor Jiang, Jun Wang, Changwang Zhang, Xiangru Tang, Ge Zhang, Jian Yang, Minghao Liu, Xitong Gao, Jiaheng Liu, Wangchunshu Zhou

cs.AI

초록

최근 에이전트 AI는 점점 더 인기 있는 연구 분야로 부상하고 있습니다. 그러나 현재의 에이전트 연구 관행은 표준화와 과학적 엄격성이 부족하여 다양한 방법론 간의 공정한 비교를 수행하기 어렵다는 점을 지적합니다. 그 결과, 에이전트 프레임워크에서의 다양한 설계 선택이 효과성에 미치는 영향이 여전히 명확하지 않으며, 그들의 진전을 측정하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 GAIA 벤치마크와 BrowseComp를 통해 주요 에이전트 구성 요소에서의 인기 있는 설계 선택이 미치는 영향을 공정하고 엄격하게 검토하는 체계적인 실증 연구를 수행합니다. 우리는 표준 평가 프로토콜의 부재로 인해 이전 연구들, 심지어 오픈소스 프로젝트들도 재현이 불가능하며, 무작위 실행 간에 상당한 변동성이 존재함을 발견했습니다. 따라서 우리는 비교를 안정화하기 위해 더 견고한 평가 프로토콜을 도입했습니다. 본 연구는 효과적인 에이전트를 위해 어떤 구성 요소와 설계가 중요한지, 그리고 논리적으로 보이지만 실제로는 불필요한 요소들이 무엇인지를 밝혀냈습니다. 이러한 연구 결과를 바탕으로, 우리는 오픈소스 프로젝트 중 최첨단 성능을 달성하는 새로운 기반 에이전트 프레임워크인 OAgents를 구축하고 공개했습니다. OAgents는 다양한 에이전트 구성 요소를 위한 모듈식 설계를 제공하여, 에이전트 AI 분야의 미래 연구를 촉진합니다.

English

Recently, Agentic AI has become an increasingly popular research field. However, we argue that current agent research practices lack standardization and scientific rigor, making it hard to conduct fair comparisons among methods. As a result, it is still unclear how different design choices in agent frameworks affect effectiveness, and measuring their progress remains challenging. In this work, we conduct a systematic empirical study on GAIA benchmark and BrowseComp to examine the impact of popular design choices in key agent components in a fair and rigorous manner. We find that the lack of a standard evaluation protocol makes previous works, even open-sourced ones, non-reproducible, with significant variance between random runs. Therefore, we introduce a more robust evaluation protocol to stabilize comparisons. Our study reveals which components and designs are crucial for effective agents, while others are redundant, despite seeming logical. Based on our findings, we build and open-source OAgents, a new foundation agent framework that achieves state-of-the-art performance among open-source projects. OAgents offers a modular design for various agent components, promoting future research in Agentic AI.