DelTA : Attribution discriminative de crédit par jeton pour l'apprentissage par renforcement à partir de récompenses vérifiables

Résumé

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) est devenu une technique centrale pour améliorer les capacités de raisonnement des grands modèles de langage. Malgré son efficacité, la manière dont les récompenses au niveau des réponses se traduisent en changements de probabilité au niveau des tokens reste mal comprise. Nous introduisons une perspective de discriminateur des mises à jour RLVR, montrant que la direction de mise à jour du gradient de politique agit implicitement comme un discriminateur linéaire sur les vecteurs de gradient des tokens et détermine ainsi quelles probabilités de tokens sont augmentées ou diminuées lors de l'apprentissage. Dans le cadre du RLVR standard au niveau de la séquence, ce discriminateur est construit à partir de centroïdes du côté positif et du côté négatif formés par le moyennage pondéré par l'avantage des vecteurs de gradient des tokens. Cependant, une telle construction de centroïdes peut être dominée par des motifs partagés à haute fréquence, tels que les tokens de formatage, diluant ainsi des directions clairsemées mais discriminatives qui distinguent mieux les réponses à récompense élevée de celles à faible récompense. Pour remédier à cette limitation, nous proposons DelTA, une méthode discriminative d'attribution de crédit aux tokens qui estime des coefficients de token pour amplifier les directions de gradient spécifiques à chaque côté et réduire le poids de celles partagées ou faiblement discriminatives. Ces coefficients repondèrent un approximant RLVR auto-normalisé, rendant les centroïdes effectifs par côté plus contrastifs et remodelant ainsi la direction de mise à jour du RLVR. Sur sept références mathématiques, DelTA surpasse les lignes de base les plus fortes à la même échelle de 3,26 et 2,62 points en moyenne sur Qwen3-8B-Base et Qwen3-14B-Base, respectivement. Des résultats supplémentaires sur la génération de code, un modèle de base différent, et des évaluations hors domaine démontrent en outre la capacité de généralisation de DelTA.

English

Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectiveness, how response-level rewards translate into token-level probability changes remains poorly understood. We introduce a discriminator view of RLVR updates, showing that the policy-gradient update direction implicitly acts as a linear discriminator over token-gradient vectors and thereby determines which token probabilities are increased or decreased during learning. Under standard sequence-level RLVR, this discriminator is constructed from positive- and negative-side centroids formed by advantage-weighted averaging of token-gradient vectors. However, such centroid construction can be dominated by shared high-frequency patterns, such as formatting tokens, diluting sparse yet discriminative directions that better distinguish high-reward responses from low-reward ones. To address this limitation, we propose DelTA, a discriminative token credit assignment method that estimates token coefficients to amplify side-specific token-gradient directions and downweight shared or weakly discriminative ones. These coefficients reweight a self-normalized RLVR surrogate, making the effective side-wise centroids more contrastive and thereby reshaping the RLVR update direction. On seven mathematical benchmarks, DelTA outperforms the strongest same-scale baselines by 3.26 and 2.62 average points on Qwen3-8B-Base and Qwen3-14B-Base, respectively. Additional results on code generation, a different backbone, and out-of-domain evaluations further demonstrate the generalization ability of DelTA.