Substituir o pensamento pelo uso de ferramentas permite o raciocínio em modelos de linguagem pequenos.

Replacing thinking with tool usage enables reasoning in small language models

July 7, 2025

Autores: Corrado Rainone, Tim Bakker, Roland Memisevic

cs.AI

Resumo

Avanços recentes estabeleceram um novo paradigma de aprendizado de máquina baseado na ampliação de recursos computacionais tanto no momento da inferência quanto no treinamento. Nessa linha de trabalho, uma combinação de Ajuste Fino Supervisionado (SFT) em demonstrações sintéticas e Aprendizado por Reforço com Recompensas Verificáveis (RLVR) é utilizada para treinar Modelos de Linguagem de Grande Porte a gastar recursos computacionais adicionais durante a inferência na forma de "pensamentos" expressos em linguagem natural. Neste artigo, propomos, em vez disso, formatar esses tokens como um rastro de interação multi-turn com uma ferramenta com estado. A cada turno, o novo estado da ferramenta é anexado ao contexto do modelo, cuja tarefa é gerar os tokens necessários para controlar a ferramenta por meio de uma DSL personalizada. Avaliamos essa abordagem no problema de reparar códigos Python com mau funcionamento e mostramos que essa configuração restrita permite uma amostragem mais rápida de experiências e um sinal de recompensa mais denso, permitindo que até modelos com até 3 bilhões de parâmetros aprendam a gastar recursos computacionais adicionais de forma proficiente na tarefa.

English

Recent advances have established a new machine learning paradigm based on scaling up compute at inference time as well as at training time. In that line of work, a combination of Supervised Fine-Tuning (SFT) on synthetic demonstrations and Reinforcement Learning with Verifiable Rewards (RLVR) is used for training Large Language Models to expend extra compute during inference in the form of "thoughts" expressed in natural language. In this paper, we propose to instead format these tokens as a multi-turn interaction trace with a stateful tool. At each turn, the new state of the tool is appended to the context of the model, whose job is to generate the tokens necessary to control the tool via a custom DSL. We benchmark this approach on the problem of repairing malfunctioning Python code, and show that this constrained setup allows for faster sampling of experience and a denser reward signal, allowing even models of size up to 3B parameters to learn how to proficiently expend additional compute on the task.