Замена мышления использованием инструментов позволяет реализовать рассуждение в небольших языковых моделях.

Replacing thinking with tool usage enables reasoning in small language models

July 7, 2025

Авторы: Corrado Rainone, Tim Bakker, Roland Memisevic

cs.AI

Аннотация

Последние достижения установили новую парадигму машинного обучения, основанную на масштабировании вычислительных ресурсов как во время обучения, так и во время вывода. В рамках этого направления используется комбинация контролируемого тонкого настройки (Supervised Fine-Tuning, SFT) на синтетических демонстрациях и обучения с подкреплением с верифицируемыми наградами (Reinforcement Learning with Verifiable Rewards, RLVR) для обучения крупных языковых моделей расходовать дополнительные вычислительные ресурсы во время вывода в форме "мыслей", выраженных на естественном языке. В данной статье мы предлагаем вместо этого форматировать эти токены как многошаговое взаимодействие с инструментом, сохраняющим состояние. На каждом шаге новое состояние инструмента добавляется в контекст модели, задача которой — генерировать токены, необходимые для управления инструментом через пользовательский DSL. Мы тестируем этот подход на задаче исправления неисправного кода на Python и показываем, что такая ограниченная настройка позволяет ускорить выборку опыта и получить более плотный сигнал награды, что позволяет даже моделям размером до 3 миллиардов параметров научиться эффективно расходовать дополнительные вычислительные ресурсы на выполнение задачи.

English

Recent advances have established a new machine learning paradigm based on scaling up compute at inference time as well as at training time. In that line of work, a combination of Supervised Fine-Tuning (SFT) on synthetic demonstrations and Reinforcement Learning with Verifiable Rewards (RLVR) is used for training Large Language Models to expend extra compute during inference in the form of "thoughts" expressed in natural language. In this paper, we propose to instead format these tokens as a multi-turn interaction trace with a stateful tool. At each turn, the new state of the tool is appended to the context of the model, whose job is to generate the tokens necessary to control the tool via a custom DSL. We benchmark this approach on the problem of repairing malfunctioning Python code, and show that this constrained setup allows for faster sampling of experience and a denser reward signal, allowing even models of size up to 3B parameters to learn how to proficiently expend additional compute on the task.