Voorbij statische tools: tool-evolutie tijdens het testen voor wetenschappelijk redeneren
Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning
January 12, 2026
Auteurs: Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie Lou, Haoran Sun, Lilong Wang, Yankai Jiang, Xiaosong Wang, Xiao Sun, Dongzhan Zhou
cs.AI
Samenvatting
De centrale uitdaging van AI voor de wetenschap is niet alleen redeneren, maar het vermogen om computationele methoden te creëren in een open-einde wetenschappelijke wereld. Bestaande op LLM gebaseerde agenten vertrouwen op statische, vooraf gedefinieerde toolbibliotheken, een paradigma dat fundamenteel tekortschiet in wetenschappelijke domeinen waar tools schaars, heterogeen en intrinsiek onvolledig zijn. In dit artikel stellen we Test-Time Tool Evolution (TTE) voor, een nieuw paradigma dat agenten in staat stelt om tijdens de inferentie uitvoerbare tools te synthetiseren, verifiëren en evolueren. Door tools te transformeren van vaste bronnen naar probleemgedreven artefacten, overwint TTE de rigiditeit en long-tail beperkingen van statische toolbibliotheken. Om rigoureuze evaluatie mogelijk te maken, introduceren we SciEvo, een benchmark bestaande uit 1.590 wetenschappelijke redeneertaken, ondersteund door 925 automatisch geëvolueerde tools. Uitgebreide experimenten tonen aan dat TTE state-of-the-art prestaties bereikt op zowel nauwkeurigheid als tool-efficiëntie, terwijl het effectieve cross-domein aanpassing van computationele tools mogelijk maakt. De code en benchmark zijn vrijgegeven op https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.
English
The central challenge of AI for Science is not reasoning alone, but the ability to create computational methods in an open-ended scientific world. Existing LLM-based agents rely on static, pre-defined tool libraries, a paradigm that fundamentally fails in scientific domains where tools are sparse, heterogeneous, and intrinsically incomplete. In this paper, we propose Test-Time Tool Evolution (TTE), a new paradigm that enables agents to synthesize, verify, and evolve executable tools during inference. By transforming tools from fixed resources into problem-driven artifacts, TTE overcomes the rigidity and long-tail limitations of static tool libraries. To facilitate rigorous evaluation, we introduce SciEvo, a benchmark comprising 1,590 scientific reasoning tasks supported by 925 automatically evolved tools. Extensive experiments show that TTE achieves state-of-the-art performance in both accuracy and tool efficiency, while enabling effective cross-domain adaptation of computational tools. The code and benchmark have been released at https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.