Lernen eines Weiterdenk-Tokens für verbessertes Skalieren zur Testzeit

Learning a Continue-Thinking Token for Enhanced Test-Time Scaling

June 12, 2025

Autoren: Liran Ringel, Elad Tolochinsky, Yaniv Romano

cs.AI

Zusammenfassung

Test-Time-Scaling hat sich als effektiver Ansatz erwiesen, um die Leistung von Sprachmodellen zu verbessern, indem zusätzliche Rechenleistung zur Inferenzzeit genutzt wird. Jüngste Studien haben gezeigt, dass das Überschreiben von End-of-Thinking-Tokens (z. B. das Ersetzen von "</think>" durch "Wait") die Denkschritte verlängern und die Genauigkeit steigern kann. In dieser Arbeit untersuchen wir, ob ein dedizierter Continue-Thinking-Token erlernt werden kann, um erweitertes Denken auszulösen. Wir erweitern eine destillierte Version von DeepSeek-R1 mit einem einzigen erlernten "<|continue-thinking|>"-Token, wobei wir nur dessen Einbettung durch Reinforcement Learning trainieren, während die Modellgewichte eingefroren bleiben. Unsere Experimente zeigen, dass dieser erlernte Token eine verbesserte Genauigkeit auf standardisierten mathematischen Benchmarks im Vergleich sowohl zum Basismodell als auch zu einem Test-Time-Scaling-Ansatz erreicht, der einen festen Token (z. B. "Wait") für Budget Forcing verwendet. Insbesondere beobachten wir, dass in Fällen, in denen der Ansatz mit festem Token die Genauigkeit des Basismodells verbessert, unsere Methode eine deutlich größere Steigerung erzielt. Zum Beispiel erzielt der Ansatz mit festem Token auf dem GSM8K-Benchmark eine absolute Verbesserung der Genauigkeit um 1,3 %, während unsere Methode mit erlerntem Token eine Verbesserung von 4,2 % gegenüber dem Basismodell ohne Budget Forcing erreicht.

English

Test-time scaling has emerged as an effective approach for improving language model performance by utilizing additional compute at inference time. Recent studies have shown that overriding end-of-thinking tokens (e.g., replacing "</think>" with "Wait") can extend reasoning steps and improve accuracy. In this work, we explore whether a dedicated continue-thinking token can be learned to trigger extended reasoning. We augment a distilled version of DeepSeek-R1 with a single learned "<|continue-thinking|>" token, training only its embedding via reinforcement learning while keeping the model weights frozen. Our experiments show that this learned token achieves improved accuracy on standard math benchmarks compared to both the baseline model and a test-time scaling approach that uses a fixed token (e.g., "Wait") for budget forcing. In particular, we observe that in cases where the fixed-token approach enhances the base model's accuracy, our method achieves a markedly greater improvement. For example, on the GSM8K benchmark, the fixed-token approach yields a 1.3% absolute improvement in accuracy, whereas our learned-token method achieves a 4.2% improvement over the base model that does not use budget forcing.