BOW : Exploration du mot suivant avec goulot d'étranglement

BOW: Bottlenecked Next Word Exploration

June 16, 2025

papers.authors: Ming Shen, Zhikun Xu, Xiao Ye, Jacob Dineen, Ben Zhou

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) sont généralement entraînés via la prédiction du mot suivant (NWP), qui offre une fluidité de surface élevée mais manque souvent de support pour un raisonnement robuste. Nous proposons BOttlenecked next Word exploration (BOW), un nouveau cadre d'apprentissage par renforcement (RL) qui repense la NWP en introduisant un goulot d'étranglement de raisonnement où un modèle de politique génère d'abord un chemin de raisonnement plutôt que de prédire directement le token suivant, après quoi un modèle juge figé prédit la distribution du token suivant uniquement basée sur ce chemin de raisonnement. Nous entraînons le modèle de politique en utilisant GRPO avec des récompenses qui quantifient l'efficacité avec laquelle le chemin de raisonnement facilite la récupération du mot suivant. Par rapport à d'autres méthodes de pré-entraînement continu, nous montrons que BOW améliore à la fois les capacités générales de raisonnement et celles spécifiques à la prédiction du mot suivant du modèle de base, évaluées sur divers benchmarks. Nos résultats montrent que BOW peut servir d'alternative efficace et scalable à la NWP classique.

English

Large language models (LLMs) are typically trained via next-word prediction (NWP), which provides strong surface-level fluency but often lacks support for robust reasoning. We propose BOttlenecked next Word exploration (BOW), a novel RL framework that rethinks NWP by introducing a reasoning bottleneck where a policy model first generates a reasoning path rather than predicting the next token directly, after which a frozen judge model predicts the next token distribution based solely on this reasoning path. We train the policy model using GRPO with rewards that quantify how effectively the reasoning path facilitates next-word recovery. Compared with other continual pretraining baselines, we show that BOW improves both the general and next-word reasoning capabilities of the base model, evaluated on various benchmarks. Our findings show that BOW can serve as an effective and scalable alternative to vanilla NWP.