Reemplazar el pensamiento con el uso de herramientas permite el razonamiento en modelos de lenguaje pequeños.

Replacing thinking with tool usage enables reasoning in small language models

July 7, 2025

Autores: Corrado Rainone, Tim Bakker, Roland Memisevic

cs.AI

Resumen

Los avances recientes han establecido un nuevo paradigma de aprendizaje automático basado en la ampliación del cómputo tanto en el momento de inferencia como en el de entrenamiento. En esta línea de trabajo, se utiliza una combinación de Ajuste Fino Supervisado (SFT, por sus siglas en inglés) en demostraciones sintéticas y Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) para entrenar Modelos de Lenguaje de Gran Escala con el fin de gastar cómputo adicional durante la inferencia en forma de "pensamientos" expresados en lenguaje natural. En este artículo, proponemos en su lugar formatear estos tokens como una traza de interacción de múltiples turnos con una herramienta con estado. En cada turno, el nuevo estado de la herramienta se añade al contexto del modelo, cuya tarea es generar los tokens necesarios para controlar la herramienta mediante un DSL personalizado. Evaluamos este enfoque en el problema de reparar código Python defectuoso y demostramos que esta configuración restringida permite un muestreo más rápido de la experiencia y una señal de recompensa más densa, lo que permite incluso a modelos de hasta 3 mil millones de parámetros aprender a gastar cómputo adicional de manera competente en la tarea.

English

Recent advances have established a new machine learning paradigm based on scaling up compute at inference time as well as at training time. In that line of work, a combination of Supervised Fine-Tuning (SFT) on synthetic demonstrations and Reinforcement Learning with Verifiable Rewards (RLVR) is used for training Large Language Models to expend extra compute during inference in the form of "thoughts" expressed in natural language. In this paper, we propose to instead format these tokens as a multi-turn interaction trace with a stateful tool. At each turn, the new state of the tool is appended to the context of the model, whose job is to generate the tokens necessary to control the tool via a custom DSL. We benchmark this approach on the problem of repairing malfunctioning Python code, and show that this constrained setup allows for faster sampling of experience and a denser reward signal, allowing even models of size up to 3B parameters to learn how to proficiently expend additional compute on the task.