ResRL: Steigerung des Schlussfolgerns von LLMs durch Residual Reinforcement Learning mit Projektion negativer Beispiele

ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning

May 1, 2026

Autoren: Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Li Wang, Xiaodong Lu, Wei Lin, Ran He, Guojun Yin

cs.AI

Zusammenfassung

Reinforcement Learning with Verifiable Rewards (RLVR) verbessert die Schlussfolgerungsfähigkeit von Large Language Models (LLMs), zeigt jedoch aufgrund einer Übergewichtung positiver Belohnungen meist eine begrenzte Generierungsvielfalt. Obwohl Methoden wie Negative Sample Reinforcement (NSR) dieses Problem durch eine stärkere Gewichtung der Strafe von negativen Beispielen abmildern, können sie die semantischen Verteilungen unterdrücken, die positive und negative Antworten gemeinsam haben. Um die Schlussfolgerungsfähigkeit zu steigern, ohne die Vielfalt zu verlieren, schlägt dieser Artikel „Negative Sample Projection Residual Reinforcement Learning“ (ResRL) vor, das ähnliche semantische Verteilungen zwischen positiven und negativen Antworten entkoppelt. Wir verknüpfen theoretisch Lazy Likelihood Displacement (LLD) mit einer Gradienteninterferenz zwischen negativen und positiven Anteilen im Modellkopf und leiten einen Single-Forward-Proxy ab, der die Repräsentationsausrichtung nach oben begrenzt, um eine konservative Neugewichtung des Vorteils zu steuern. ResRL projiziert dann verborgene Repräsentationen negativer Token auf einen SVD-basierten positiv-semantischen Unterraum mit niedrigem Rang und nutzt die Projektionsresiduen, um negative Gradienten zu modulieren. Dies verbessert die Schlussfolgerungsfähigkeit, bewahrt gleichzeitig die Vielfalt und übertrifft im Durchschnitt starke Baseline-Methoden über zwölf Benchmarks in den Bereichen Mathematik, Code, Agent Tasks und Function Calling. Bemerkenswerterweise übertrifft ResRL NSR beim mathematischen Schlussfolgern um 9,4 % in Avg@16 und 7,0 % in Pass@128. Der Code ist verfügbar unter https://github.com/1229095296/ResRL.git.

English

Reinforcement Learning with Verifiable Rewards (RLVR) enhances reasoning of Large Language Models (LLMs) but usually exhibits limited generation diversity due to the over-incentivization of positive rewards. Although methods like Negative Sample Reinforcement (NSR) mitigate this issue by upweighting penalty from negative samples, they may suppress the semantic distributions shared between positive and negative responses. To boost reasoning ability without losing diversity, this paper proposes negative sample projection Residual Reinforcement Learning (ResRL) that decouples similar semantic distributions among positive and negative responses. We theoretically link Lazy Likelihood Displacement (LLD) to negative-positive head-gradient interference and derive a single-forward proxy that upper-bounds representation alignment to guide conservative advantage reweighting. ResRL then projects negative-token hidden representations onto an SVD-based low-rank positive subspace and uses projection residuals to modulate negative gradients, improving reasoning while preserving diversity and outperforming strong baselines on average across twelve benchmarks spanning Mathematics, Code, Agent Tasks, and Function Calling. Notably, ResRL surpasses NSR on mathematical reasoning by 9.4\% in Avg@16 and 7.0\% in Pass@128. Code is available at https://github.com/1229095296/ResRL.git.