DelTA: Atribuição de Crédito de Token Discriminativo para Aprendizado por Reforço a partir de Recompensas Verificáveis

Resumo

O aprendizado por reforço a partir de recompensas verificáveis (RLVR) emergiu como uma técnica central para aprimorar as capacidades de raciocínio de grandes modelos de linguagem. Apesar de sua eficácia, a forma como recompensas em nível de resposta se traduzem em mudanças de probabilidade em nível de token ainda é pouco compreendida. Introduzimos uma visão discriminadora das atualizações do RLVR, mostrando que a direção da atualização do gradiente de política atua implicitamente como um discriminador linear sobre vetores gradiente-token, determinando assim quais probabilidades de token são aumentadas ou diminuídas durante o aprendizado. Sob o RLVR padrão em nível de sequência, esse discriminador é construído a partir de centroides dos lados positivo e negativo, formados pela média ponderada por vantagem dos vetores gradiente-token. No entanto, essa construção de centroides pode ser dominada por padrões compartilhados de alta frequência, como tokens de formatação, diluindo direções esparsas, porém discriminativas, que melhor distinguem respostas de alta recompensa daquelas de baixa recompensa. Para lidar com essa limitação, propomos o DelTA, um método de atribuição discriminativa de crédito a tokens que estima coeficientes de token para amplificar direções gradiente-token específicas de cada lado e reduzir o peso de direções compartilhadas ou fracamente discriminativas. Esses coeficientes reponderam um substituto de RLVR autornormalizado, tornando os centroides efetivos por lado mais contrastivos e, assim, remodelando a direção da atualização do RLVR. Em sete benchmarks matemáticos, o DelTA supera as linhas de base mais fortes de mesma escala em 3,26 e 2,62 pontos médios no Qwen3-8B-Base e Qwen3-14B-Base, respectivamente. Resultados adicionais em geração de código, uma arquitetura base diferente e avaliações fora do domínio demonstram ainda mais a capacidade de generalização do DelTA.

English

Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectiveness, how response-level rewards translate into token-level probability changes remains poorly understood. We introduce a discriminator view of RLVR updates, showing that the policy-gradient update direction implicitly acts as a linear discriminator over token-gradient vectors and thereby determines which token probabilities are increased or decreased during learning. Under standard sequence-level RLVR, this discriminator is constructed from positive- and negative-side centroids formed by advantage-weighted averaging of token-gradient vectors. However, such centroid construction can be dominated by shared high-frequency patterns, such as formatting tokens, diluting sparse yet discriminative directions that better distinguish high-reward responses from low-reward ones. To address this limitation, we propose DelTA, a discriminative token credit assignment method that estimates token coefficients to amplify side-specific token-gradient directions and downweight shared or weakly discriminative ones. These coefficients reweight a self-normalized RLVR surrogate, making the effective side-wise centroids more contrastive and thereby reshaping the RLVR update direction. On seven mathematical benchmarks, DelTA outperforms the strongest same-scale baselines by 3.26 and 2.62 average points on Qwen3-8B-Base and Qwen3-14B-Base, respectively. Additional results on code generation, a different backbone, and out-of-domain evaluations further demonstrate the generalization ability of DelTA.