За пределами статических инструментов: эволюция инструментов во время тестирования для научных рассуждений

Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning

January 12, 2026

Авторы: Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie Lou, Haoran Sun, Lilong Wang, Yankai Jiang, Xiaosong Wang, Xiao Sun, Dongzhan Zhou

cs.AI

Аннотация

Ключевая проблема AI for Science заключается не только в способности к рассуждениям, но и в возможности создания вычислительных методов в открытой научной среде. Существующие агенты на основе больших языковых моделей опираются на статические, предопределенные библиотеки инструментов — парадигму, которая принципиально несостоятельна в научных областях, где инструменты малочисленны, разнородны и по своей природе неполны. В данной статье мы предлагаем новую парадигму — эволюцию инструментов во время тестирования (Test-Time Tool Evolution, TTE), которая позволяет агентам синтезировать, проверять и развивать исполняемые инструменты непосредственно в процессе вывода. Преобразуя инструменты из фиксированных ресурсов в артефакты, определяемые конкретной задачей, TTE преодолевает жесткость и проблему «длинного хвоста» статических библиотек инструментов. Для обеспечения строгой оценки мы представляем SciEvo — эталонный набор данных, включающий 1590 задач научного мышления, поддерживаемых 925 автоматически созданными инструментами. Многочисленные эксперименты показывают, что TTE демонстрирует наилучшие результаты как по точности, так и по эффективности использования инструментов, а также обеспечивает эффективную кросс-доменную адаптацию вычислительных средств. Код и эталонный набор данных опубликованы по адресу https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.

English

The central challenge of AI for Science is not reasoning alone, but the ability to create computational methods in an open-ended scientific world. Existing LLM-based agents rely on static, pre-defined tool libraries, a paradigm that fundamentally fails in scientific domains where tools are sparse, heterogeneous, and intrinsically incomplete. In this paper, we propose Test-Time Tool Evolution (TTE), a new paradigm that enables agents to synthesize, verify, and evolve executable tools during inference. By transforming tools from fixed resources into problem-driven artifacts, TTE overcomes the rigidity and long-tail limitations of static tool libraries. To facilitate rigorous evaluation, we introduce SciEvo, a benchmark comprising 1,590 scientific reasoning tasks supported by 925 automatically evolved tools. Extensive experiments show that TTE achieves state-of-the-art performance in both accuracy and tool efficiency, while enabling effective cross-domain adaptation of computational tools. The code and benchmark have been released at https://github.com/lujiaxuan0520/Test-Time-Tool-Evol.