Más allá de las herramientas estáticas: evolución de herramientas durante la prueba para el razonamiento científico
Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning
January 12, 2026
Autores: Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie Lou, Haoran Sun, Lilong Wang, Yankai Jiang, Xiaosong Wang, Xiao Sun, Dongzhan Zhou
cs.AI
Resumen
El principal desafío de la IA para la Ciencia no es solo el razonamiento, sino la capacidad de crear métodos computacionales en un mundo científico de naturaleza abierta. Los agentes actuales basados en LLM dependen de bibliotecas de herramientas estáticas y predefinidas, un paradigma que fracasa fundamentalmente en dominios científicos donde las herramientas son escasas, heterogéneas e intrínsecamente incompletas. En este artículo, proponemos la Evolución de Herramientas en Tiempo de Prueba (TTE), un nuevo paradigma que permite a los agentes sintetizar, verificar y evolucionar herramientas ejecutables durante la inferencia. Al transformar las herramientas de recursos fijos en artefactos orientados a problemas, TTE supera la rigidez y las limitaciones de cola larga de las bibliotecas de herramientas estáticas. Para facilitar una evaluación rigurosa, presentamos SciEvo, un benchmark que comprende 1.590 tareas de razonamiento científico respaldadas por 925 herramientas evolucionadas automáticamente. Experimentos exhaustivos demuestran que TTE logra un rendimiento de vanguardia tanto en precisión como en eficiencia de herramientas, al tiempo que permite una adaptación efectiva de herramientas computacionales entre dominios. El código y el benchmark han sido publicados en https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.
English
The central challenge of AI for Science is not reasoning alone, but the ability to create computational methods in an open-ended scientific world. Existing LLM-based agents rely on static, pre-defined tool libraries, a paradigm that fundamentally fails in scientific domains where tools are sparse, heterogeneous, and intrinsically incomplete. In this paper, we propose Test-Time Tool Evolution (TTE), a new paradigm that enables agents to synthesize, verify, and evolve executable tools during inference. By transforming tools from fixed resources into problem-driven artifacts, TTE overcomes the rigidity and long-tail limitations of static tool libraries. To facilitate rigorous evaluation, we introduce SciEvo, a benchmark comprising 1,590 scientific reasoning tasks supported by 925 automatically evolved tools. Extensive experiments show that TTE achieves state-of-the-art performance in both accuracy and tool efficiency, while enabling effective cross-domain adaptation of computational tools. The code and benchmark have been released at https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.