Vielfalt oder Präzision? Eine tiefgehende Betrachtung der nächsten Token-Vorhersage
Diversity or Precision? A Deep Dive into Next Token Prediction
December 28, 2025
papers.authors: Haoyuan Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Keyao Wang, Weile Chen, Zihao Zheng, Bei Yu
cs.AI
papers.abstract
Jüngste Fortschritte haben gezeigt, dass Reinforcement Learning (RL) die reasoning-Fähigkeiten großer Sprachmodelle (LLMs) erheblich verbessern kann. Die Wirksamkeit eines solchen RL-Trainings hängt jedoch entscheidend vom Explorationsraum ab, der durch die Token-Ausgabeverteilung des vortrainierten Modells definiert wird. In diesem Papier betrachten wir den Standard-Cross-Entropy-Verlust neu und interpretieren ihn als eine spezifische Instanz der Policy-Gradient-Optimierung, die innerhalb einer Einzelschritt-Episode angewendet wird. Um systematisch zu untersuchen, wie die vortrainierte Verteilung das Explorationspotenzial für nachfolgendes RL prägt, schlagen wir ein generalisiertes Vortrainingsziel vor, das On-Policy-RL-Prinzipien auf das überwachte Lernen überträgt. Indem wir die Next-Token-Vorhersage als einen stochastischen Entscheidungsprozess rahmen, führen wir eine Reward-Shaping-Strategie ein, die Diversität und Präzision explizit austariert. Unsere Methode verwendet einen positiven Reward-Scaling-Faktor, um die Wahrscheinlichkeitskonzentration auf Ground-Truth-Tokens zu steuern, sowie einen rangbewussten Mechanismus, der hoch- und niedrigrangige negative Tokens asymmetrisch behandelt. Dies ermöglicht es uns, die vortrainierte Token-Ausgabeverteilung umzuformen und zu untersuchen, wie ein günstigerer Explorationsraum für RL bereitgestellt werden kann, was letztlich die End-to-End-Reasoning-Leistung steigert. Entgegen der Intuition, dass eine höhere Verteilungsentropie effektive Exploration begünstigt, stellen wir fest, dass die Auferlegung eines präzisionsorientierten Priors einen überlegenen Explorationsraum für RL liefert.
English
Recent advancements have shown that reinforcement learning (RL) can substantially improve the reasoning abilities of large language models (LLMs). The effectiveness of such RL training, however, depends critically on the exploration space defined by the pre-trained model's token-output distribution. In this paper, we revisit the standard cross-entropy loss, interpreting it as a specific instance of policy gradient optimization applied within a single-step episode. To systematically study how the pre-trained distribution shapes the exploration potential for subsequent RL, we propose a generalized pre-training objective that adapts on-policy RL principles to supervised learning. By framing next-token prediction as a stochastic decision process, we introduce a reward-shaping strategy that explicitly balances diversity and precision. Our method employs a positive reward scaling factor to control probability concentration on ground-truth tokens and a rank-aware mechanism that treats high-ranking and low-ranking negative tokens asymmetrically. This allows us to reshape the pre-trained token-output distribution and investigate how to provide a more favorable exploration space for RL, ultimately enhancing end-to-end reasoning performance. Contrary to the intuition that higher distribution entropy facilitates effective exploration, we find that imposing a precision-oriented prior yields a superior exploration space for RL.