SciMaster: Verso Agenti IA Scientifici a Scopo Generale, Parte I. X-Master come Fondamento: Possiamo Superare l'Ultimo Esame dell'Umanità?
SciMaster: Towards General-Purpose Scientific AI Agents, Part I. X-Master as Foundation: Can We Lead on Humanity's Last Exam?
July 7, 2025
Autori: Jingyi Chai, Shuo Tang, Rui Ye, Yuwen Du, Xinyu Zhu, Mengcheng Zhou, Yanfeng Wang, Weinan E, Yuzhi Zhang, Linfeng Zhang, Siheng Chen
cs.AI
Abstract
I rapidi progressi degli agenti di intelligenza artificiale hanno riacceso l'ambizione di lungo corso di sfruttarli per accelerare la scoperta scientifica. Raggiungere questo obiettivo richiede una profonda comprensione delle frontiere della conoscenza umana. In questo contesto, l'Esame Finale dell'Umanità (HLE) rappresenta un punto di riferimento eccezionalmente impegnativo per valutare gli agenti scientifici di IA. In questo lavoro, ci proponiamo di costruire l'architettura di base per agenti a scopo generale e di validarne le capacità attraverso prestazioni leader su HLE. Per raggiungere questo obiettivo, introduciamo X-Master, un agente di ragionamento potenziato da strumenti progettato per emulare i ricercatori umani interagendo in modo flessibile con strumenti esterni durante il processo di ragionamento. Questo agente, guidato dalla concettualizzazione del codice come linguaggio di interazione, può sfruttare in modo flessibile le librerie Python integrate e i nostri strumenti personalizzati per potenziare il ragionamento. Scaliamo ulteriormente le sue capacità attraverso X-Masters, un flusso di lavoro agentico disperso e stratificato che migliora sistematicamente l'ampiezza e la profondità del ragionamento. La nostra soluzione open-source, X-Masters, stabilisce un nuovo record di stato dell'arte su HLE con un punteggio del 32,1%, superando OpenAI e Google Deep Research (26,6% e 26,9%) e diventando la prima a superare la soglia del 30%. Questo lavoro ci permette di acquisire una comprensione più profonda della risoluzione di compiti complessi e di accumulare un'esperienza preziosa che può informare i progressi futuri, guidando l'addestramento successivo dei modelli.
English
The rapid advancements of AI agents have ignited the long-held ambition of
leveraging them to accelerate scientific discovery. Achieving this goal
requires a deep understanding of the frontiers of human knowledge. As such,
Humanity's Last Exam (HLE) provides an exceptionally challenging touchstone for
evaluating scientific AI agents. In this work, we aim to construct the
foundational architecture for general-purpose agents and validate the
capabilities through leading performance on HLE. To achieve this, we introduce
X-Master, a tool-augmented reasoning agent designed to emulate human
researchers by interacting flexibly with external tools during its reasoning
process. This agent, guided by the conceptualization of code as an interaction
language, can flexibly leverage built-in Python libraries and our customized
tools to augment the reasoning. We further scale its capabilities through
X-Masters, a scattered-and-stacked agentic workflow that systematically
enhances breadth and depth of reasoning. Our open-source solution, X-Masters,
sets a new state-of-the-art record on HLE with a score of 32.1%, surpassing
OpenAI's and Google's Deep Research (26.6% and 26.9%) and becoming the first to
exceed the 30% threshold. This work allows us to gain a deeper understanding of
complex task-solving and accumulates valuable experience that can inform future
advancements, guiding subsequent model training.