DelTA: Asignación Discriminativa de Crédito de Token para Aprendizaje por Refuerzo a partir de Recompensas Verificables

Resumen

El aprendizaje por refuerzo a partir de recompensas verificables (RLVR, por sus siglas en inglés) se ha consolidado como una técnica central para mejorar las capacidades de razonamiento de los modelos de lenguaje grandes. A pesar de su eficacia, la forma en que las recompensas a nivel de respuesta se traducen en cambios de probabilidad a nivel de token sigue siendo poco comprendida. Introducimos una visión de discriminador de las actualizaciones de RLVR, mostrando que la dirección de actualización del gradiente de política actúa implícitamente como un discriminador lineal sobre los vectores de gradiente de tokens y, por lo tanto, determina qué probabilidades de token se incrementan o disminuyen durante el aprendizaje. Bajo el RLVR estándar a nivel de secuencia, este discriminador se construye a partir de centroides de lados positivo y negativo formados mediante un promedio ponderado por ventaja de los vectores de gradiente de tokens. Sin embargo, esta construcción de centroides puede verse dominada por patrones compartidos de alta frecuencia, como los tokens de formato, diluyendo direcciones dispersas pero discriminativas que distinguen mejor las respuestas de alta recompensa de las de baja recompensa. Para abordar esta limitación, proponemos DelTA, un método discriminativo de asignación de crédito a tokens que estima coeficientes de token para amplificar las direcciones de gradiente de tokens específicas de cada lado y reducir el peso de las direcciones compartidas o débilmente discriminativas. Estos coeficientes reponderan un sustituto de RLVR auto-normalizado, haciendo que los centroides efectivos por lado sean más contrastivos y, por lo tanto, remodelando la dirección de actualización del RLVR. En siete puntos de referencia matemáticos, DelTA supera a las líneas base más fuertes de la misma escala en 3,26 y 2,62 puntos promedio en Qwen3-8B-Base y Qwen3-14B-Base, respectivamente. Resultados adicionales en generación de código, un backbone diferente y evaluaciones fuera del dominio demuestran además la capacidad de generalización de DelTA.

English

Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectiveness, how response-level rewards translate into token-level probability changes remains poorly understood. We introduce a discriminator view of RLVR updates, showing that the policy-gradient update direction implicitly acts as a linear discriminator over token-gradient vectors and thereby determines which token probabilities are increased or decreased during learning. Under standard sequence-level RLVR, this discriminator is constructed from positive- and negative-side centroids formed by advantage-weighted averaging of token-gradient vectors. However, such centroid construction can be dominated by shared high-frequency patterns, such as formatting tokens, diluting sparse yet discriminative directions that better distinguish high-reward responses from low-reward ones. To address this limitation, we propose DelTA, a discriminative token credit assignment method that estimates token coefficients to amplify side-specific token-gradient directions and downweight shared or weakly discriminative ones. These coefficients reweight a self-normalized RLVR surrogate, making the effective side-wise centroids more contrastive and thereby reshaping the RLVR update direction. On seven mathematical benchmarks, DelTA outperforms the strongest same-scale baselines by 3.26 and 2.62 average points on Qwen3-8B-Base and Qwen3-14B-Base, respectively. Additional results on code generation, a different backbone, and out-of-domain evaluations further demonstrate the generalization ability of DelTA.