SciMaster: Op weg naar algemene wetenschappelijke AI-agenten, Deel I. X-Master als fundament: Kunnen we slagen voor het laatste examen van de mensheid?

SciMaster: Towards General-Purpose Scientific AI Agents, Part I. X-Master as Foundation: Can We Lead on Humanity's Last Exam?

July 7, 2025

Auteurs: Jingyi Chai, Shuo Tang, Rui Ye, Yuwen Du, Xinyu Zhu, Mengcheng Zhou, Yanfeng Wang, Weinan E, Yuzhi Zhang, Linfeng Zhang, Siheng Chen

cs.AI

Samenvatting

De snelle vooruitgang van AI-agenten heeft de lang gekoesterde ambitie aangewakkerd om ze in te zetten om wetenschappelijke ontdekkingen te versnellen. Het bereiken van dit doel vereist een diepgaand begrip van de grenzen van de menselijke kennis. Daarom biedt 'Humanity's Last Exam' (HLE) een uitzonderlijk uitdagend ijkpunt voor het evalueren van wetenschappelijke AI-agenten. In dit werk streven we ernaar de fundamentele architectuur voor algemene AI-agenten te construeren en de capaciteiten te valideren door toonaangevende prestaties op HLE. Om dit te bereiken, introduceren we X-Master, een tool-augmented redeneeragent die is ontworpen om menselijke onderzoekers na te bootsen door flexibel te interageren met externe tools tijdens het redeneerproces. Deze agent, geleid door de conceptualisering van code als een interactietaal, kan flexibel gebruikmaken van ingebouwde Python-bibliotheken en onze aangepaste tools om het redeneren te versterken. We schalen de capaciteiten verder op via X-Masters, een verspreide en gestapelde agentworkflow die systematisch de breedte en diepte van het redeneren verbetert. Onze open-source oplossing, X-Masters, vestigt een nieuw state-of-the-art record op HLE met een score van 32,1%, waarmee het OpenAI's en Google's Deep Research (26,6% en 26,9%) overtreft en als eerste de 30%-drempel overschrijdt. Dit werk stelt ons in staat een dieper inzicht te krijgen in het oplossen van complexe taken en verzamelt waardevolle ervaring die toekomstige vooruitgang kan informeren, waardoor het de training van volgende modellen kan begeleiden.

English

The rapid advancements of AI agents have ignited the long-held ambition of leveraging them to accelerate scientific discovery. Achieving this goal requires a deep understanding of the frontiers of human knowledge. As such, Humanity's Last Exam (HLE) provides an exceptionally challenging touchstone for evaluating scientific AI agents. In this work, we aim to construct the foundational architecture for general-purpose agents and validate the capabilities through leading performance on HLE. To achieve this, we introduce X-Master, a tool-augmented reasoning agent designed to emulate human researchers by interacting flexibly with external tools during its reasoning process. This agent, guided by the conceptualization of code as an interaction language, can flexibly leverage built-in Python libraries and our customized tools to augment the reasoning. We further scale its capabilities through X-Masters, a scattered-and-stacked agentic workflow that systematically enhances breadth and depth of reasoning. Our open-source solution, X-Masters, sets a new state-of-the-art record on HLE with a score of 32.1%, surpassing OpenAI's and Google's Deep Research (26.6% and 26.9%) and becoming the first to exceed the 30% threshold. This work allows us to gain a deeper understanding of complex task-solving and accumulates valuable experience that can inform future advancements, guiding subsequent model training.