ResRL: Verbetering van Redeneervermogen van LLM's via Residuële Reinforcement Learning met Projectie van Negatieve Voorbeelden

ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning

May 1, 2026

Auteurs: Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Li Wang, Xiaodong Lu, Wei Lin, Ran He, Guojun Yin

cs.AI

Samenvatting

Versterkend Leren met Verifieerbare Beloningen (RLVR) verbetert het redeneervermogen van grote taalmmodellen (LLM's), maar vertoont doorgaans beperkte generatiediversiteit door een overmatige stimulering van positieve beloningen. Hoewel methoden zoals Negative Sample Reinforcement (NSR) dit probleem verzachten door de straf van negatieve voorbeelden zwaarder te laten wegen, kunnen zij de semantische verdelingen die worden gedeeld door positieve en negatieve reacties onderdrukken. Om het redeneervermogen te vergroten zonder diversiteit te verliezen, stelt dit artikel negative sample projectie Residu Versterkend Leren (ResRL) voor, dat vergelijkbare semantische verdelingen tussen positieve en negatieve reacties ontkoppelt. We verbinden Lazy Likelihood Displacement (LLD) theoretisch aan negatief-positieve hoofdgradiëntinterferentie en leiden een single-forward proxy af die de representatie-uitlijning begrenst om conservatief voordeelherweging te sturen. ResRL projecteert vervolgens verborgen representaties van negatieve tokens op een op SVD gebaseerde positieve deelruimte met lage rang en gebruikt projectieresiduen om negatieve gradiënten te moduleren, waardoor het redeneervermogen wordt verbeterd terwijl diversiteit behouden blijft. De methode presteert gemiddeld beter dan sterke basismethoden op twaalf benchmarks voor Wiskunde, Code, Agenttaken en Functie-aanroeping. Opmerkelijk is dat ResRL NSR overtreft op wiskundig redeneren met 9,4% in Avg@16 en 7,0% in Pass@128. Code is beschikbaar op https://github.com/1229095296/ResRL.git.

English

Reinforcement Learning with Verifiable Rewards (RLVR) enhances reasoning of Large Language Models (LLMs) but usually exhibits limited generation diversity due to the over-incentivization of positive rewards. Although methods like Negative Sample Reinforcement (NSR) mitigate this issue by upweighting penalty from negative samples, they may suppress the semantic distributions shared between positive and negative responses. To boost reasoning ability without losing diversity, this paper proposes negative sample projection Residual Reinforcement Learning (ResRL) that decouples similar semantic distributions among positive and negative responses. We theoretically link Lazy Likelihood Displacement (LLD) to negative-positive head-gradient interference and derive a single-forward proxy that upper-bounds representation alignment to guide conservative advantage reweighting. ResRL then projects negative-token hidden representations onto an SVD-based low-rank positive subspace and uses projection residuals to modulate negative gradients, improving reasoning while preserving diversity and outperforming strong baselines on average across twelve benchmarks spanning Mathematics, Code, Agent Tasks, and Function Calling. Notably, ResRL surpasses NSR on mathematical reasoning by 9.4\% in Avg@16 and 7.0\% in Pass@128. Code is available at https://github.com/1229095296/ResRL.git.