ResRL: 負例射影残差強化学習による大規模言語モデルの推論能力向上

ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning

May 1, 2026

著者: Zihan Lin, Xiaohan Wang, Jie Cao, Jiajun Chai, Li Wang, Xiaodong Lu, Wei Lin, Ran He, Guojun Yin

cs.AI

要旨

検証可能な報酬による強化学習（RLVR）は大規模言語モデル（LLM）の推論能力を強化するが、正の報酬への過剰なインセンティブにより生成多様性が制限されがちである。Negative Sample Reinforcement（NSR）などの手法は負例からのペナルティを重み付けすることでこの問題を緩和するが、正例と負例が共有する意味的分布を抑制する可能性がある。本論文では、推論能力を向上させつつ多様性を維持するため、正負応答間の類似した意味的分布を分離する負例射影残差強化学習（ResRL）を提案する。理論的にはLazy Likelihood Displacement（LLD）を正負ヘッドの勾配干渉に関連付け、表現アライメントを上界とする単一フォワード代理指標を導出し、保守的なアドバンテージ再重み付けを指導する。ResRLは負例トークンの隠れ表現をSVDに基づく低ランク正部分空間へ射影し、射影残差を用いて負の勾配を調整することで、数学・コード・エージェントタスク・関数呼び出しにわたる12のベンチマークで平均的に強力なベースラインを上回り、多様性を保持した推論改善を実現する。特に数学的推論ではNSRをAvg@16で9.4%、Pass@128で7.0%上回った。コードはhttps://github.com/1229095296/ResRL.git で公開されている。

English

Reinforcement Learning with Verifiable Rewards (RLVR) enhances reasoning of Large Language Models (LLMs) but usually exhibits limited generation diversity due to the over-incentivization of positive rewards. Although methods like Negative Sample Reinforcement (NSR) mitigate this issue by upweighting penalty from negative samples, they may suppress the semantic distributions shared between positive and negative responses. To boost reasoning ability without losing diversity, this paper proposes negative sample projection Residual Reinforcement Learning (ResRL) that decouples similar semantic distributions among positive and negative responses. We theoretically link Lazy Likelihood Displacement (LLD) to negative-positive head-gradient interference and derive a single-forward proxy that upper-bounds representation alignment to guide conservative advantage reweighting. ResRL then projects negative-token hidden representations onto an SVD-based low-rank positive subspace and uses projection residuals to modulate negative gradients, improving reasoning while preserving diversity and outperforming strong baselines on average across twelve benchmarks spanning Mathematics, Code, Agent Tasks, and Function Calling. Notably, ResRL surpasses NSR on mathematical reasoning by 9.4\% in Avg@16 and 7.0\% in Pass@128. Code is available at https://github.com/1229095296/ResRL.git.