Jenseits statischer Werkzeuge: Werkzeugevolution zur Testzeit für wissenschaftliches Denken
Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning
January 12, 2026
papers.authors: Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie Lou, Haoran Sun, Lilong Wang, Yankai Jiang, Xiaosong Wang, Xiao Sun, Dongzhan Zhou
cs.AI
papers.abstract
Die zentrale Herausforderung von KI für die Wissenschaft liegt nicht allein im Schlussfolgern, sondern in der Fähigkeit, computergestützte Methoden in einer offenen wissenschaftlichen Welt zu entwickeln. Bestehende, auf LLMs basierende Agenten greifen auf statische, vordefinierte Werkzeugbibliotheken zurück – ein Paradigma, das in wissenschaftlichen Domänen grundlegend versagt, wo Werkzeuge spärlich vorhanden, heterogen und inhärent unvollständig sind. In diesem Artikel schlagen wir Test-Time Tool Evolution (TTE) vor, ein neues Paradigma, das Agenten ermöglicht, während des Inferenzvorgangs ausführbare Werkzeuge zu synthetisieren, zu verifizieren und weiterzuentwickeln. Indem TTE Werkzeuge von festen Ressourcen in problemgetriebene Artefakte transformiert, überwindet es die Starrheit und die Long-Tail-Limitierungen statischer Werkzeugbibliotheken. Um eine rigorose Evaluation zu ermöglichen, führen wir SciEvo ein, einen Benchmark, der 1.590 wissenschaftliche Denkaufgaben umfasst und durch 925 automatisch evolvierte Werkzeuge unterstützt wird. Umfangreiche Experimente zeigen, dass TTE state-of-the-art Leistung sowohl in Bezug auf Genauigkeit als auch auf Werkzeugeffizienz erzielt und gleichzeitig eine effektive domänenübergreifende Anpassung computergestützter Werkzeuge ermöglicht. Der Code und der Benchmark sind unter https://github.com/lujiaxuan0520/Test-Time-Tool-Evol verfügbar.
English
The central challenge of AI for Science is not reasoning alone, but the ability to create computational methods in an open-ended scientific world. Existing LLM-based agents rely on static, pre-defined tool libraries, a paradigm that fundamentally fails in scientific domains where tools are sparse, heterogeneous, and intrinsically incomplete. In this paper, we propose Test-Time Tool Evolution (TTE), a new paradigm that enables agents to synthesize, verify, and evolve executable tools during inference. By transforming tools from fixed resources into problem-driven artifacts, TTE overcomes the rigidity and long-tail limitations of static tool libraries. To facilitate rigorous evaluation, we introduce SciEvo, a benchmark comprising 1,590 scientific reasoning tasks supported by 925 automatically evolved tools. Extensive experiments show that TTE achieves state-of-the-art performance in both accuracy and tool efficiency, while enabling effective cross-domain adaptation of computational tools. The code and benchmark have been released at https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.