BOW: Bottlenecked Verkenning van Volgende Woorden

BOW: Bottlenecked Next Word Exploration

June 16, 2025

Auteurs: Ming Shen, Zhikun Xu, Xiao Ye, Jacob Dineen, Ben Zhou

cs.AI

Samenvatting

Grote taalmodellen (LLMs) worden doorgaans getraind via next-word prediction (NWP), wat een sterke oppervlakkige vloeiendheid biedt, maar vaak tekortschiet in het ondersteunen van robuust redeneren. Wij stellen BOttlenecked next Word exploration (BOW) voor, een nieuw RL-raamwerk dat NWP herdenkt door een redeneerknelpunt in te voeren waarbij een beleidsmodel eerst een redeneerpad genereert in plaats van direct de volgende token te voorspellen, waarna een bevroren beoordelingsmodel de volgende tokenverdeling voorspelt uitsluitend op basis van dit redeneerpad. We trainen het beleidsmodel met GRPO en beloningen die kwantificeren hoe effectief het redeneerpad het herstel van het volgende woord vergemakkelijkt. In vergelijking met andere baselines voor voortdurende voortraining, tonen we aan dat BOW zowel de algemene als de next-word redeneervaardigheden van het basismodel verbetert, geëvalueerd op diverse benchmarks. Onze bevindingen laten zien dat BOW een effectief en schaalbaar alternatief kan zijn voor standaard NWP.

English

Large language models (LLMs) are typically trained via next-word prediction (NWP), which provides strong surface-level fluency but often lacks support for robust reasoning. We propose BOttlenecked next Word exploration (BOW), a novel RL framework that rethinks NWP by introducing a reasoning bottleneck where a policy model first generates a reasoning path rather than predicting the next token directly, after which a frozen judge model predicts the next token distribution based solely on this reasoning path. We train the policy model using GRPO with rewards that quantify how effectively the reasoning path facilitates next-word recovery. Compared with other continual pretraining baselines, we show that BOW improves both the general and next-word reasoning capabilities of the base model, evaluated on various benchmarks. Our findings show that BOW can serve as an effective and scalable alternative to vanilla NWP.