DelTA: Diskriminative Token-Kreditzuweisung für bestärkendes Lernen aus verifizierbaren Belohnungen

Zusammenfassung

Verstärkungslernen aus überprüfbaren Belohnungen (RLVR) hat sich zu einer zentralen Technik zur Verbesserung der Schlussfolgerungsfähigkeiten großer Sprachmodelle entwickelt. Trotz seiner Wirksamkeit ist noch wenig darüber bekannt, wie sich Belohnungen auf Antwortebene in Wahrscheinlichkeitsänderungen auf Tokenebene übersetzen. Wir führen eine Diskriminatorperspektive auf RLVR-Updates ein und zeigen, dass die Policy-Gradient-Update-Richtung implizit als linearer Diskriminator über Token-Gradient-Vektoren wirkt und somit bestimmt, welche Token-Wahrscheinlichkeiten während des Lernens erhöht oder verringert werden. Unter dem standardmäßigen sequenzbezogenen RLVR wird dieser Diskriminator aus Zentroiden auf der positiven und negativen Seite konstruiert, die durch eine vorteilsgewichtete Mittelung von Token-Gradient-Vektoren gebildet werden. Eine solche Zentroidkonstruktion kann jedoch von gemeinsamen hochfrequenten Mustern wie Formatierungstoken dominiert werden, wodurch spärliche, aber diskriminative Richtungen verwässert werden, die hoch belohnte Antworten besser von niedrig belohnten unterscheiden. Um diese Einschränkung zu beheben, schlagen wir DelTA vor, eine diskriminative Token-Kreditzuweisungsmethode, die Token-Koeffizienten schätzt, um seiten-spezifische Token-Gradienten-Richtungen zu verstärken und gemeinsame oder schwach diskriminative zu herunterzugewichten. Diese Koeffizienten gewichten einen selbstnormalisierten RLVR-Surrogate neu, wodurch die effektiven seitenweisen Zentroiden kontrastiver werden und somit die RLVR-Update-Richtung umgestaltet wird. Auf sieben mathematischen Benchmarks übertrifft DelTA die stärksten gleichskaligen Baselines um durchschnittlich 3,26 bzw. 2,62 Punkte auf Qwen3-8B-Base und Qwen3-14B-Base. Weitere Ergebnisse zur Codegenerierung, einem anderen Backbone und evaluations außerhalb des Anwendungsbereichs belegen zudem die Generalisierungsfähigkeit von DelTA.

English

Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectiveness, how response-level rewards translate into token-level probability changes remains poorly understood. We introduce a discriminator view of RLVR updates, showing that the policy-gradient update direction implicitly acts as a linear discriminator over token-gradient vectors and thereby determines which token probabilities are increased or decreased during learning. Under standard sequence-level RLVR, this discriminator is constructed from positive- and negative-side centroids formed by advantage-weighted averaging of token-gradient vectors. However, such centroid construction can be dominated by shared high-frequency patterns, such as formatting tokens, diluting sparse yet discriminative directions that better distinguish high-reward responses from low-reward ones. To address this limitation, we propose DelTA, a discriminative token credit assignment method that estimates token coefficients to amplify side-specific token-gradient directions and downweight shared or weakly discriminative ones. These coefficients reweight a self-normalized RLVR surrogate, making the effective side-wise centroids more contrastive and thereby reshaping the RLVR update direction. On seven mathematical benchmarks, DelTA outperforms the strongest same-scale baselines by 3.26 and 2.62 average points on Qwen3-8B-Base and Qwen3-14B-Base, respectively. Additional results on code generation, a different backbone, and out-of-domain evaluations further demonstrate the generalization ability of DelTA.