Weiche Token, harte Wahrheiten

papers.abstract

Die Verwendung kontinuierlicher anstelle diskreter Tokens während der Chain-of-Thought (CoT)-Phase des Denkens in LLMs hat in letzter Zeit Aufmerksamkeit erregt, basierend auf der Intuition, dass eine kontinuierliche Mischung diskreter Tokens eine Überlagerung mehrerer Denkpfade gleichzeitig simulieren könnte. Theoretische Ergebnisse haben formal bewiesen, dass kontinuierliche Tokens eine deutlich größere Ausdruckskraft besitzen und spezifische Probleme effizienter lösen können. Die praktische Anwendung kontinuierlicher Tokens wurde jedoch durch erhebliche Trainingsschwierigkeiten eingeschränkt: Frühere Arbeiten verwenden kontinuierliche Tokens entweder nur zur Inferenzzeit auf einem vortrainierten Modell mit diskreten Tokens oder müssen den kontinuierlichen CoT aus Referenz-CoTs mit diskreten Tokens destillieren und stehen dabei vor Rechenkosten, die den CoT auf sehr wenige Tokens beschränken. Dies ist die erste Arbeit, die eine skalierbare Methode zur Erstellung kontinuierlicher CoTs mittels Reinforcement Learning (RL) einführt, ohne dabei auf Referenz-CoTs mit diskreten Tokens zurückzugreifen. Wir verwenden „weiche“ Tokens: Mischungen von Tokens zusammen mit Rauschen auf der Eingabeeinbettung, um die RL-Exploration zu ermöglichen. Der Rechenaufwand ist minimal, was es uns ermöglicht, kontinuierliche CoTs mit Hunderten von Tokens zu erlernen. Bei mathematischen Denkbenchmarks mit Llama- und Qwen-Modellen bis zu 8B erreicht das Training mit kontinuierlichen CoTs die Leistung von CoTs mit diskreten Tokens bei pass@1 und übertrifft sie bei pass@32, was auf eine größere Vielfalt der CoTs hinweist. In systematischen Vergleichen erweist sich das beste Szenario darin, mit kontinuierlichen CoT-Tokens zu trainieren und dann diskrete Tokens für die Inferenz zu verwenden, was bedeutet, dass die „weichen“ Modelle auf standardisierte Weise eingesetzt werden können. Schließlich zeigen wir, dass das RL-Training mit kontinuierlichen CoTs die Vorhersagen des Basismodells bei Aufgaben außerhalb des Trainingsbereichs besser bewahrt und somit einen sanfteren Eingriff in das Basismodell ermöglicht.

English

The use of continuous instead of discrete tokens during the Chain-of-Thought (CoT) phase of reasoning LLMs has garnered attention recently, based on the intuition that a continuous mixture of discrete tokens could simulate a superposition of several reasoning paths simultaneously. Theoretical results have formally proven that continuous tokens have much greater expressivity and can solve specific problems more efficiently. However, practical use of continuous tokens has been limited by strong training difficulties: previous works either just use continuous tokens at inference time on a pre-trained discrete-token model, or must distill the continuous CoT from ground-truth discrete CoTs and face computational costs that limit the CoT to very few tokens. This is the first work introducing a scalable method to learn continuous CoTs via reinforcement learning (RL), without distilling from reference discrete CoTs. We use "soft" tokens: mixtures of tokens together with noise on the input embedding to provide RL exploration. Computational overhead is minimal, enabling us to learn continuous CoTs with hundreds of tokens. On math reasoning benchmarks with Llama and Qwen models up to 8B, training with continuous CoTs match discrete-token CoTs for pass@1 and surpass them for pass@32, showing greater CoT diversity. In systematic comparisons, the best-performing scenario is to train with continuous CoT tokens then use discrete tokens for inference, meaning the "soft" models can be deployed in a standard way. Finally, we show continuous CoT RL training better preserves the predictions of the base model on out-of-domain tasks, thus providing a softer touch to the base model.

Weiche Token, harte Wahrheiten

Soft Tokens, Hard Truths

papers.abstract

Support