BOW: Engpassbasierte Erkundung des nächsten Wortes

BOW: Bottlenecked Next Word Exploration

June 16, 2025

Autoren: Ming Shen, Zhikun Xu, Xiao Ye, Jacob Dineen, Ben Zhou

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) werden typischerweise durch Next-Word-Prediction (NWP) trainiert, was eine starke oberflächliche Flüssigkeit bietet, jedoch oft keine robuste Unterstützung für logisches Denken bietet. Wir schlagen BOttlenecked next Word exploration (BOW) vor, ein neuartiges RL-Framework, das NWP neu denkt, indem es einen Denkengpass einführt, bei dem ein Policy-Modell zunächst einen Denkpfad generiert, anstatt direkt das nächste Token vorherzusagen. Anschließend sagt ein eingefrorenes Judge-Modell die Verteilung des nächsten Tokens ausschließlich basierend auf diesem Denkpfad voraus. Wir trainieren das Policy-Modell mit GRPO und Belohnungen, die quantifizieren, wie effektiv der Denkpfad die Wiederherstellung des nächsten Wortes ermöglicht. Im Vergleich zu anderen kontinuierlichen Vortrainings-Baselines zeigen wir, dass BOW sowohl die allgemeinen als auch die Next-Word-Denkfähigkeiten des Basismodells verbessert, bewertet anhand verschiedener Benchmarks. Unsere Ergebnisse zeigen, dass BOW als effektive und skalierbare Alternative zu herkömmlichem NWP dienen kann.

English

Large language models (LLMs) are typically trained via next-word prediction (NWP), which provides strong surface-level fluency but often lacks support for robust reasoning. We propose BOttlenecked next Word exploration (BOW), a novel RL framework that rethinks NWP by introducing a reasoning bottleneck where a policy model first generates a reasoning path rather than predicting the next token directly, after which a frozen judge model predicts the next token distribution based solely on this reasoning path. We train the policy model using GRPO with rewards that quantify how effectively the reasoning path facilitates next-word recovery. Compared with other continual pretraining baselines, we show that BOW improves both the general and next-word reasoning capabilities of the base model, evaluated on various benchmarks. Our findings show that BOW can serve as an effective and scalable alternative to vanilla NWP.