ResRL: Impulsionando o Raciocínio de LLMs através do Aprendizado por Reforço Residual com Projeção de Amostras Negativas

Resumo

O Reforço de Aprendizagem com Recompensas Verificáveis (RLVR) aprimora o raciocínio dos Grandes Modelos de Linguagem (LLMs), mas geralmente exibe diversidade limitada de geração devido ao excesso de incentivo a recompensas positivas. Embora métodos como o Reforço por Amostras Negativas (NSR) mitiguem esse problema ao aumentar o peso das penalidades de amostras negativas, eles podem suprimir as distribuições semânticas compartilhadas entre respostas positivas e negativas. Para impulsionar a capacidade de raciocínio sem perder diversidade, este artigo propõe o Reforço de Aprendizagem Residual por Projeção de Amostras Negativas (ResRL), que desacopla distribuições semânticas similares entre respostas positivas e negativas. Nós relacionamos teoricamente o Deslocamento de Verossimilhança Preguiçoso (LLD) à interferência do gradiente principal negativo-positivo e derivamos um *proxy* de única passagem que limita superiormente o alinhamento de representação para orientar a reamostragem conservadora de vantagem. O ResRL então projeta as representações ocultas de *tokens* negativos em um subespaço positivo de baixo *rank* baseado em SVD e usa os resíduos de projeção para modular os gradientes negativos, melhorando o raciocínio enquanto preserva a diversidade e superando *baselines* fortes em média em doze *benchmarks* abrangendo Matemática, Código, Tarefas de Agente e Chamada de Função. Notavelmente, o ResRL supera o NSR no raciocínio matemático em 9,4% no Avg@16 e 7,0% no Pass@128. O código está disponível em https://github.com/1229095296/ResRL.git.

English

Reinforcement Learning with Verifiable Rewards (RLVR) enhances reasoning of Large Language Models (LLMs) but usually exhibits limited generation diversity due to the over-incentivization of positive rewards. Although methods like Negative Sample Reinforcement (NSR) mitigate this issue by upweighting penalty from negative samples, they may suppress the semantic distributions shared between positive and negative responses. To boost reasoning ability without losing diversity, this paper proposes negative sample projection Residual Reinforcement Learning (ResRL) that decouples similar semantic distributions among positive and negative responses. We theoretically link Lazy Likelihood Displacement (LLD) to negative-positive head-gradient interference and derive a single-forward proxy that upper-bounds representation alignment to guide conservative advantage reweighting. ResRL then projects negative-token hidden representations onto an SVD-based low-rank positive subspace and uses projection residuals to modulate negative gradients, improving reasoning while preserving diversity and outperforming strong baselines on average across twelve benchmarks spanning Mathematics, Code, Agent Tasks, and Function Calling. Notably, ResRL surpasses NSR on mathematical reasoning by 9.4\% in Avg@16 and 7.0\% in Pass@128. Code is available at https://github.com/1229095296/ResRL.git.