SciMaster: 범용 과학 AI 에이전트를 향하여, 제1부. X-Master를 기반으로: 인류의 마지막 시험을 주도할 수 있을까?
SciMaster: Towards General-Purpose Scientific AI Agents, Part I. X-Master as Foundation: Can We Lead on Humanity's Last Exam?
July 7, 2025
저자: Jingyi Chai, Shuo Tang, Rui Ye, Yuwen Du, Xinyu Zhu, Mengcheng Zhou, Yanfeng Wang, Weinan E, Yuzhi Zhang, Linfeng Zhang, Siheng Chen
cs.AI
초록
AI 에이전트의 급속한 발전은 이를 활용해 과학적 발견을 가속화하려는 오랜 야망을 불러일으켰습니다. 이 목표를 달성하기 위해서는 인간 지식의 최전선에 대한 깊은 이해가 필요합니다. 이에 따라 '휴머니티의 마지막 시험(Humanity's Last Exam, HLE)'은 과학적 AI 에이전트를 평가하기 위한 매우 도전적인 기준을 제공합니다. 본 연구에서는 범용 에이전트를 위한 기초 아키텍처를 구축하고 HLE에서 선두 성적을 통해 그 역량을 검증하는 것을 목표로 합니다. 이를 위해 우리는 X-Master를 소개합니다. 이는 추론 과정에서 외부 도구와 유연하게 상호작용함으로써 인간 연구자를 모방하도록 설계된 도구 강화 추론 에이전트입니다. 코드를 상호작용 언어로 개념화하는 방식으로 안내되는 이 에이전트는 내장된 Python 라이브러리와 맞춤형 도구를 유연하게 활용하여 추론을 강화할 수 있습니다. 우리는 또한 X-Masters라는 분산-스택형 에이전트 워크플로를 통해 그 역량을 확장하여 추론의 폭과 깊이를 체계적으로 향상시켰습니다. 우리의 오픈소스 솔루션인 X-Masters는 HLE에서 32.1%의 점수를 기록하며 OpenAI와 Google의 Deep Research(각각 26.6%와 26.9%)를 능가하고, 최초로 30% 문턱을 넘어섰습니다. 이 작업은 복잡한 문제 해결에 대한 깊은 이해를 가능하게 하고, 향후 발전을 위한 귀중한 경험을 축적하여 후속 모델 훈련에 기여할 수 있습니다.
English
The rapid advancements of AI agents have ignited the long-held ambition of
leveraging them to accelerate scientific discovery. Achieving this goal
requires a deep understanding of the frontiers of human knowledge. As such,
Humanity's Last Exam (HLE) provides an exceptionally challenging touchstone for
evaluating scientific AI agents. In this work, we aim to construct the
foundational architecture for general-purpose agents and validate the
capabilities through leading performance on HLE. To achieve this, we introduce
X-Master, a tool-augmented reasoning agent designed to emulate human
researchers by interacting flexibly with external tools during its reasoning
process. This agent, guided by the conceptualization of code as an interaction
language, can flexibly leverage built-in Python libraries and our customized
tools to augment the reasoning. We further scale its capabilities through
X-Masters, a scattered-and-stacked agentic workflow that systematically
enhances breadth and depth of reasoning. Our open-source solution, X-Masters,
sets a new state-of-the-art record on HLE with a score of 32.1%, surpassing
OpenAI's and Google's Deep Research (26.6% and 26.9%) and becoming the first to
exceed the 30% threshold. This work allows us to gain a deeper understanding of
complex task-solving and accumulates valuable experience that can inform future
advancements, guiding subsequent model training.