Das Ersetzen von Denkprozessen durch Werkzeugnutzung ermöglicht das Schließen in kleinen Sprachmodellen.

Replacing thinking with tool usage enables reasoning in small language models

July 7, 2025

papers.authors: Corrado Rainone, Tim Bakker, Roland Memisevic

cs.AI

papers.abstract

Jüngste Fortschritte haben ein neues Paradigma des maschinellen Lernens etabliert, das auf der Skalierung von Rechenleistung sowohl zur Inferenzzeit als auch zur Trainingszeit basiert. In dieser Forschungsrichtung wird eine Kombination aus Supervised Fine-Tuning (SFT) auf synthetischen Demonstrationen und Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) verwendet, um große Sprachmodelle so zu trainieren, dass sie zusätzliche Rechenleistung während der Inferenz in Form von „Gedanken“, die in natürlicher Sprache ausgedrückt werden, aufwenden. In diesem Artikel schlagen wir vor, diese Tokens stattdessen als eine mehrstufige Interaktionsspur mit einem zustandsbehafteten Werkzeug zu formatieren. Bei jedem Schritt wird der neue Zustand des Werkzeugs an den Kontext des Modells angehängt, dessen Aufgabe es ist, die Tokens zu generieren, die notwendig sind, um das Werkzeug über eine benutzerdefinierte DSL zu steuern. Wir evaluieren diesen Ansatz anhand des Problems der Reparatur von fehlerhaftem Python-Code und zeigen, dass dieses eingeschränkte Setup eine schnellere Stichprobenentnahme von Erfahrungen und ein dichteres Belohnungssignal ermöglicht, wodurch sogar Modelle mit bis zu 3B Parametern lernen können, zusätzliche Rechenleistung für die Aufgabe effizient einzusetzen.

English

Recent advances have established a new machine learning paradigm based on scaling up compute at inference time as well as at training time. In that line of work, a combination of Supervised Fine-Tuning (SFT) on synthetic demonstrations and Reinforcement Learning with Verifiable Rewards (RLVR) is used for training Large Language Models to expend extra compute during inference in the form of "thoughts" expressed in natural language. In this paper, we propose to instead format these tokens as a multi-turn interaction trace with a stateful tool. At each turn, the new state of the tool is appended to the context of the model, whose job is to generate the tokens necessary to control the tool via a custom DSL. We benchmark this approach on the problem of repairing malfunctioning Python code, and show that this constrained setup allows for faster sampling of experience and a denser reward signal, allowing even models of size up to 3B parameters to learn how to proficiently expend additional compute on the task.