SciMaster: Auf dem Weg zu universellen wissenschaftlichen KI-Agenten, Teil I. X-Master als Grundlage: Können wir die letzte Prüfung der Menschheit bestehen?

SciMaster: Towards General-Purpose Scientific AI Agents, Part I. X-Master as Foundation: Can We Lead on Humanity's Last Exam?

July 7, 2025

papers.authors: Jingyi Chai, Shuo Tang, Rui Ye, Yuwen Du, Xinyu Zhu, Mengcheng Zhou, Yanfeng Wang, Weinan E, Yuzhi Zhang, Linfeng Zhang, Siheng Chen

cs.AI

papers.abstract

Die rasanten Fortschritte von KI-Agenten haben den lang gehegten Ehrgeiz entfacht, sie zur Beschleunigung wissenschaftlicher Entdeckungen einzusetzen. Die Verwirklichung dieses Ziels erfordert ein tiefes Verständnis der Grenzen des menschlichen Wissens. In diesem Zusammenhang bietet „Humanity's Last Exam“ (HLE) einen außergewöhnlich anspruchsvollen Prüfstein zur Bewertung wissenschaftlicher KI-Agenten. In dieser Arbeit zielen wir darauf ab, die grundlegende Architektur für universelle Agenten zu konstruieren und deren Fähigkeiten durch Spitzenleistungen bei HLE zu validieren. Um dies zu erreichen, stellen wir X-Master vor, einen werkzeuggestützten Reasoning-Agenten, der darauf ausgelegt ist, menschliche Forscher nachzuahmen, indem er während seines Denkprozesses flexibel mit externen Werkzeugen interagiert. Dieser Agent, geleitet durch die Konzeptualisierung von Code als Interaktionssprache, kann flexibel integrierte Python-Bibliotheken und unsere maßgeschneiderten Werkzeuge nutzen, um das Reasoning zu erweitern. Wir skalieren seine Fähigkeiten weiter durch X-Masters, einen gestreuten und gestapelten agentenbasierten Workflow, der systematisch die Breite und Tiefe des Reasonings verbessert. Unsere Open-Source-Lösung, X-Masters, setzt mit einer Punktzahl von 32,1 % einen neuen State-of-the-Art-Rekord bei HLE und übertrifft damit OpenAI's und Google's Deep Research (26,6 % und 26,9 %) und ist die erste Lösung, die die 30 %-Schwelle überschreitet. Diese Arbeit ermöglicht es uns, ein tieferes Verständnis für die Lösung komplexer Aufgaben zu gewinnen und wertvolle Erfahrungen zu sammeln, die zukünftige Fortschritte informieren und die nachfolgende Modellausbildung leiten können.

English

The rapid advancements of AI agents have ignited the long-held ambition of leveraging them to accelerate scientific discovery. Achieving this goal requires a deep understanding of the frontiers of human knowledge. As such, Humanity's Last Exam (HLE) provides an exceptionally challenging touchstone for evaluating scientific AI agents. In this work, we aim to construct the foundational architecture for general-purpose agents and validate the capabilities through leading performance on HLE. To achieve this, we introduce X-Master, a tool-augmented reasoning agent designed to emulate human researchers by interacting flexibly with external tools during its reasoning process. This agent, guided by the conceptualization of code as an interaction language, can flexibly leverage built-in Python libraries and our customized tools to augment the reasoning. We further scale its capabilities through X-Masters, a scattered-and-stacked agentic workflow that systematically enhances breadth and depth of reasoning. Our open-source solution, X-Masters, sets a new state-of-the-art record on HLE with a score of 32.1%, surpassing OpenAI's and Google's Deep Research (26.6% and 26.9%) and becoming the first to exceed the 30% threshold. This work allows us to gain a deeper understanding of complex task-solving and accumulates valuable experience that can inform future advancements, guiding subsequent model training.