Oltre gli strumenti statici: evoluzione degli strumenti al momento del test per il ragionamento scientifico
Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning
January 12, 2026
Autori: Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie Lou, Haoran Sun, Lilong Wang, Yankai Jiang, Xiaosong Wang, Xiao Sun, Dongzhan Zhou
cs.AI
Abstract
La sfida centrale dell'IA per la Scienza non è il solo ragionamento, ma la capacità di creare metodi computazionali in un mondo scientifico aperto. Gli agenti basati su LLM esistenti si affidano a librerie di strumenti statiche e predefinite, un paradigma che fallisce fondamentalmente in domini scientifici dove gli strumenti sono scarsi, eterogenei e intrinsecamente incompleti. In questo articolo, proponiamo l'Evoluzione degli Strumenti al Momento del Test (Test-Time Tool Evolution, TTE), un nuovo paradigma che consente agli agenti di sintetizzare, verificare ed evolvere strumenti eseguibili durante l'inferenza. Trasformando gli strumenti da risorse fisse in artefatti guidati dal problema, il TTE supera la rigidità e le limitazioni della coda lunga delle librerie di strumenti statiche. Per facilitare una valutazione rigorosa, introduciamo SciEvo, un benchmark che comprende 1.590 compiti di ragionamento scientifico supportati da 925 strumenti evoluti automaticamente. Esperimenti estensivi mostrano che il TTE raggiunge prestazioni all'avanguardia sia in accuratezza che in efficienza degli strumenti, consentendo al contempo un'efficace adattamento cross-dominio degli strumenti computazionali. Il codice e il benchmark sono stati rilasciati su https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.
English
The central challenge of AI for Science is not reasoning alone, but the ability to create computational methods in an open-ended scientific world. Existing LLM-based agents rely on static, pre-defined tool libraries, a paradigm that fundamentally fails in scientific domains where tools are sparse, heterogeneous, and intrinsically incomplete. In this paper, we propose Test-Time Tool Evolution (TTE), a new paradigm that enables agents to synthesize, verify, and evolve executable tools during inference. By transforming tools from fixed resources into problem-driven artifacts, TTE overcomes the rigidity and long-tail limitations of static tool libraries. To facilitate rigorous evaluation, we introduce SciEvo, a benchmark comprising 1,590 scientific reasoning tasks supported by 925 automatically evolved tools. Extensive experiments show that TTE achieves state-of-the-art performance in both accuracy and tool efficiency, while enabling effective cross-domain adaptation of computational tools. The code and benchmark have been released at https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.