La sostituzione del pensiero con l'uso di strumenti consente il ragionamento nei piccoli modelli linguistici

Replacing thinking with tool usage enables reasoning in small language models

July 7, 2025

Autori: Corrado Rainone, Tim Bakker, Roland Memisevic

cs.AI

Abstract

I recenti progressi hanno stabilito un nuovo paradigma di apprendimento automatico basato sull'aumento della potenza di calcolo sia durante l'inferenza che durante l'addestramento. In questo filone di ricerca, viene utilizzata una combinazione di Fine-Tuning Supervisionato (SFT) su dimostrazioni sintetiche e Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) per addestrare Modelli Linguistici di Grande Scala a impiegare ulteriore potenza di calcolo durante l'inferenza sotto forma di "pensieri" espressi in linguaggio naturale. In questo articolo, proponiamo invece di formattare questi token come una traccia di interazione multi-turn con uno strumento dotato di stato. Ad ogni turno, il nuovo stato dello strumento viene aggiunto al contesto del modello, il cui compito è generare i token necessari per controllare lo strumento tramite un DSL personalizzato. Valutiamo questo approccio sul problema della riparazione di codice Python malfunzionante e dimostriamo che questa configurazione vincolata consente un campionamento più rapido dell'esperienza e un segnale di ricompensa più denso, permettendo anche a modelli di dimensioni fino a 3B di parametri di apprendere come impiegare proficuamente ulteriore potenza di calcolo sul compito.

English

Recent advances have established a new machine learning paradigm based on scaling up compute at inference time as well as at training time. In that line of work, a combination of Supervised Fine-Tuning (SFT) on synthetic demonstrations and Reinforcement Learning with Verifiable Rewards (RLVR) is used for training Large Language Models to expend extra compute during inference in the form of "thoughts" expressed in natural language. In this paper, we propose to instead format these tokens as a multi-turn interaction trace with a stateful tool. At each turn, the new state of the tool is appended to the context of the model, whose job is to generate the tokens necessary to control the tool via a custom DSL. We benchmark this approach on the problem of repairing malfunctioning Python code, and show that this constrained setup allows for faster sampling of experience and a denser reward signal, allowing even models of size up to 3B parameters to learn how to proficiently expend additional compute on the task.