Remplacer la réflexion par l'utilisation d'outils permet le raisonnement dans les petits modèles de langage.

Replacing thinking with tool usage enables reasoning in small language models

July 7, 2025

papers.authors: Corrado Rainone, Tim Bakker, Roland Memisevic

cs.AI

papers.abstract

Les récents progrès ont établi un nouveau paradigme d'apprentissage automatique basé sur l'augmentation de la puissance de calcul au moment de l'inférence ainsi que pendant l'entraînement. Dans cette lignée de travaux, une combinaison de Fine-Tuning Supervisé (SFT) sur des démonstrations synthétiques et d'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) est utilisée pour entraîner des modèles de langage de grande taille à dépenser une puissance de calcul supplémentaire lors de l'inférence sous la forme de "pensées" exprimées en langage naturel. Dans cet article, nous proposons plutôt de formater ces tokens sous la forme d'une trace d'interaction multi-tours avec un outil doté d'un état. À chaque tour, le nouvel état de l'outil est ajouté au contexte du modèle, dont la tâche est de générer les tokens nécessaires pour contrôler l'outil via un DSL personnalisé. Nous évaluons cette approche sur le problème de la réparation de code Python défectueux, et montrons que cette configuration contrainte permet un échantillonnage plus rapide de l'expérience et un signal de récompense plus dense, permettant même à des modèles de taille allant jusqu'à 3 milliards de paramètres d'apprendre à dépenser efficacement une puissance de calcul supplémentaire sur la tâche.

English

Recent advances have established a new machine learning paradigm based on scaling up compute at inference time as well as at training time. In that line of work, a combination of Supervised Fine-Tuning (SFT) on synthetic demonstrations and Reinforcement Learning with Verifiable Rewards (RLVR) is used for training Large Language Models to expend extra compute during inference in the form of "thoughts" expressed in natural language. In this paper, we propose to instead format these tokens as a multi-turn interaction trace with a stateful tool. At each turn, the new state of the tool is appended to the context of the model, whose job is to generate the tokens necessary to control the tool via a custom DSL. We benchmark this approach on the problem of repairing malfunctioning Python code, and show that this constrained setup allows for faster sampling of experience and a denser reward signal, allowing even models of size up to 3B parameters to learn how to proficiently expend additional compute on the task.