SciMaster: На пути к универсальным научным ИИ-агентам, Часть I. X-Master как основа: Сможем ли мы преуспеть на последнем экзамене человечества?
SciMaster: Towards General-Purpose Scientific AI Agents, Part I. X-Master as Foundation: Can We Lead on Humanity's Last Exam?
July 7, 2025
Авторы: Jingyi Chai, Shuo Tang, Rui Ye, Yuwen Du, Xinyu Zhu, Mengcheng Zhou, Yanfeng Wang, Weinan E, Yuzhi Zhang, Linfeng Zhang, Siheng Chen
cs.AI
Аннотация
Быстрое развитие ИИ-агентов вновь разожгло давнюю амбицию использовать их для ускорения научных открытий. Достижение этой цели требует глубокого понимания границ человеческих знаний. В связи с этим, "Последний экзамен человечества" (HLE) предоставляет исключительно сложный эталон для оценки научных ИИ-агентов. В данной работе мы стремимся создать базовую архитектуру для универсальных агентов и подтвердить их возможности через лидирующие результаты на HLE. Для этого мы представляем X-Master, агента с инструментами для рассуждений, разработанного для имитации человеческих исследователей путем гибкого взаимодействия с внешними инструментами в процессе рассуждений. Этот агент, руководствуясь концепцией кода как языка взаимодействия, может гибко использовать встроенные библиотеки Python и наши специализированные инструменты для усиления рассуждений. Мы дополнительно масштабируем его возможности через X-Masters, распределенную и многоуровневую агентскую систему, которая систематически улучшает широту и глубину рассуждений. Наше открытое решение, X-Masters, устанавливает новый рекорд на HLE с результатом 32,1%, превосходя OpenAI и Google Deep Research (26,6% и 26,9%) и становясь первым, кто превысил порог в 30%. Эта работа позволяет нам глубже понять решение сложных задач и накопить ценный опыт, который может способствовать будущим достижениям, направляя последующее обучение моделей.
English
The rapid advancements of AI agents have ignited the long-held ambition of
leveraging them to accelerate scientific discovery. Achieving this goal
requires a deep understanding of the frontiers of human knowledge. As such,
Humanity's Last Exam (HLE) provides an exceptionally challenging touchstone for
evaluating scientific AI agents. In this work, we aim to construct the
foundational architecture for general-purpose agents and validate the
capabilities through leading performance on HLE. To achieve this, we introduce
X-Master, a tool-augmented reasoning agent designed to emulate human
researchers by interacting flexibly with external tools during its reasoning
process. This agent, guided by the conceptualization of code as an interaction
language, can flexibly leverage built-in Python libraries and our customized
tools to augment the reasoning. We further scale its capabilities through
X-Masters, a scattered-and-stacked agentic workflow that systematically
enhances breadth and depth of reasoning. Our open-source solution, X-Masters,
sets a new state-of-the-art record on HLE with a score of 32.1%, surpassing
OpenAI's and Google's Deep Research (26.6% and 26.9%) and becoming the first to
exceed the 30% threshold. This work allows us to gain a deeper understanding of
complex task-solving and accumulates valuable experience that can inform future
advancements, guiding subsequent model training.