DelTA: Дискриминативное присвоение кредита токенам для обучения с подкреплением на основе проверяемых вознаграждений

Аннотация

Обучение с подкреплением на основе проверяемых вознаграждений (RLVR) стало центральным методом для улучшения способности больших языковых моделей к рассуждению. Несмотря на его эффективность, то, как вознаграждения на уровне ответов преобразуются в изменения вероятностей на уровне токенов, остается плохо изученным. Мы вводим дискриминаторную интерпретацию обновлений RLVR, показывая, что направление обновления градиента политики неявно действует как линейный дискриминатор над векторами градиентов токенов и тем самым определяет, какие вероятности токенов увеличиваются или уменьшаются в ходе обучения. В рамках стандартного RLVR на уровне последовательностей этот дискриминатор строится из центроидов положительной и отрицательной сторон, образованных взвешенным по преимуществу усреднением векторов градиентов токенов. Однако такое построение центроидов может доминироваться общими высокочастотными паттернами, такими как токены форматирования, что размывает разреженные, но дискриминативные направления, которые лучше отличают ответы с высоким вознаграждением от ответов с низким вознаграждением. Чтобы преодолеть это ограничение, мы предлагаем DelTA — дискриминативный метод назначения кредитов токенам, который оценивает коэффициенты токенов для усиления специфичных для стороны направлений градиентов токенов и понижения веса общих или слабо дискриминативных. Эти коэффициенты перевзвешивают самонормализованный суррогат RLVR, делая эффективные центроиды сторон более контрастными и тем самым изменяя направление обновления RLVR. На семи математических бенчмарках DelTA превосходит самые сильные базовые модели того же масштаба в среднем на 3,26 и 2,62 пункта на Qwen3-8B-Base и Qwen3-14B-Base соответственно. Дополнительные результаты по генерации кода, на другой базовой архитектуре и оценках на данных вне домена дополнительно демонстрируют способность DelTA к обобщению.

English

Reinforcement learning from verifiable rewards (RLVR) has emerged as a central technique for improving the reasoning capabilities of large language models. Despite its effectiveness, how response-level rewards translate into token-level probability changes remains poorly understood. We introduce a discriminator view of RLVR updates, showing that the policy-gradient update direction implicitly acts as a linear discriminator over token-gradient vectors and thereby determines which token probabilities are increased or decreased during learning. Under standard sequence-level RLVR, this discriminator is constructed from positive- and negative-side centroids formed by advantage-weighted averaging of token-gradient vectors. However, such centroid construction can be dominated by shared high-frequency patterns, such as formatting tokens, diluting sparse yet discriminative directions that better distinguish high-reward responses from low-reward ones. To address this limitation, we propose DelTA, a discriminative token credit assignment method that estimates token coefficients to amplify side-specific token-gradient directions and downweight shared or weakly discriminative ones. These coefficients reweight a self-normalized RLVR surrogate, making the effective side-wise centroids more contrastive and thereby reshaping the RLVR update direction. On seven mathematical benchmarks, DelTA outperforms the strongest same-scale baselines by 3.26 and 2.62 average points on Qwen3-8B-Base and Qwen3-14B-Base, respectively. Additional results on code generation, a different backbone, and out-of-domain evaluations further demonstrate the generalization ability of DelTA.