SciMaster: Rumo a Agentes de IA Científica de Propósito Geral, Parte I. X-Master como Fundação: Podemos Liderar no Último Exame da Humanidade?
SciMaster: Towards General-Purpose Scientific AI Agents, Part I. X-Master as Foundation: Can We Lead on Humanity's Last Exam?
July 7, 2025
Autores: Jingyi Chai, Shuo Tang, Rui Ye, Yuwen Du, Xinyu Zhu, Mengcheng Zhou, Yanfeng Wang, Weinan E, Yuzhi Zhang, Linfeng Zhang, Siheng Chen
cs.AI
Resumo
Os rápidos avanços dos agentes de IA reacenderam a ambição de longa data de utilizá-los para acelerar a descoberta científica. Alcançar esse objetivo requer um profundo entendimento das fronteiras do conhecimento humano. Nesse contexto, o "Exame Final da Humanidade" (HLE, na sigla em inglês) fornece um marco excepcionalmente desafiador para avaliar agentes de IA científicos. Neste trabalho, buscamos construir a arquitetura fundamental para agentes de propósito geral e validar suas capacidades por meio de um desempenho líder no HLE. Para isso, introduzimos o X-Master, um agente de raciocínio aumentado por ferramentas projetado para emular pesquisadores humanos, interagindo de forma flexível com ferramentas externas durante seu processo de raciocínio. Esse agente, guiado pela conceituação do código como uma linguagem de interação, pode aproveitar de forma flexível bibliotecas Python integradas e nossas ferramentas personalizadas para aprimorar o raciocínio. Além disso, escalamos suas capacidades por meio dos X-Masters, um fluxo de trabalho agentivo disperso e empilhado que melhora sistematicamente a amplitude e a profundidade do raciocínio. Nossa solução de código aberto, X-Masters, estabelece um novo recorde de estado da arte no HLE com uma pontuação de 32,1%, superando as pesquisas profundas da OpenAI e do Google (26,6% e 26,9%) e tornando-se a primeira a ultrapassar o limite de 30%. Este trabalho nos permite obter um entendimento mais profundo da resolução de tarefas complexas e acumular experiências valiosas que podem informar avanços futuros, orientando o treinamento subsequente de modelos.
English
The rapid advancements of AI agents have ignited the long-held ambition of
leveraging them to accelerate scientific discovery. Achieving this goal
requires a deep understanding of the frontiers of human knowledge. As such,
Humanity's Last Exam (HLE) provides an exceptionally challenging touchstone for
evaluating scientific AI agents. In this work, we aim to construct the
foundational architecture for general-purpose agents and validate the
capabilities through leading performance on HLE. To achieve this, we introduce
X-Master, a tool-augmented reasoning agent designed to emulate human
researchers by interacting flexibly with external tools during its reasoning
process. This agent, guided by the conceptualization of code as an interaction
language, can flexibly leverage built-in Python libraries and our customized
tools to augment the reasoning. We further scale its capabilities through
X-Masters, a scattered-and-stacked agentic workflow that systematically
enhances breadth and depth of reasoning. Our open-source solution, X-Masters,
sets a new state-of-the-art record on HLE with a score of 32.1%, surpassing
OpenAI's and Google's Deep Research (26.6% and 26.9%) and becoming the first to
exceed the 30% threshold. This work allows us to gain a deeper understanding of
complex task-solving and accumulates valuable experience that can inform future
advancements, guiding subsequent model training.