BOW: Исследование следующего слова с узким местом

BOW: Bottlenecked Next Word Exploration

June 16, 2025

Авторы: Ming Shen, Zhikun Xu, Xiao Ye, Jacob Dineen, Ben Zhou

cs.AI

Аннотация

Крупные языковые модели (LLM) обычно обучаются с помощью предсказания следующего слова (NWP), что обеспечивает высокий уровень поверхностной беглости, но часто не поддерживает устойчивое рассуждение. Мы предлагаем BOttlenecked next Word exploration (BOW), новую RL-структуру, которая переосмысливает NWP, вводя узкое место для рассуждений, где модель политики сначала генерирует путь рассуждений, а не предсказывает следующий токен напрямую, после чего замороженная модель-судья предсказывает распределение следующего токена исключительно на основе этого пути рассуждений. Мы обучаем модель политики с использованием GRPO с наградами, которые количественно оценивают, насколько эффективно путь рассуждений способствует восстановлению следующего слова. По сравнению с другими базовыми методами непрерывного предобучения, мы показываем, что BOW улучшает как общие, так и связанные с предсказанием следующего слова способности базовой модели, что оценивается на различных тестовых наборах. Наши результаты показывают, что BOW может служить эффективной и масштабируемой альтернативой стандартному NWP.

English

Large language models (LLMs) are typically trained via next-word prediction (NWP), which provides strong surface-level fluency but often lacks support for robust reasoning. We propose BOttlenecked next Word exploration (BOW), a novel RL framework that rethinks NWP by introducing a reasoning bottleneck where a policy model first generates a reasoning path rather than predicting the next token directly, after which a frozen judge model predicts the next token distribution based solely on this reasoning path. We train the policy model using GRPO with rewards that quantify how effectively the reasoning path facilitates next-word recovery. Compared with other continual pretraining baselines, we show that BOW improves both the general and next-word reasoning capabilities of the base model, evaluated on various benchmarks. Our findings show that BOW can serve as an effective and scalable alternative to vanilla NWP.