TinyV: Die Reduzierung von Falsch-Negativen in der Verifikation verbessert das Reinforcement Learning für das Reasoning mit großen Sprachmodellen

TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

May 20, 2025

Autoren: Zhangchen Xu, Yuetai Li, Fengqing Jiang, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Zusammenfassung

Reinforcement Learning (RL) hat sich zu einem leistungsstarken Werkzeug entwickelt, um die Argumentationsfähigkeiten großer Sprachmodelle (LLMs) zu verbessern, indem ihre Strategien mit Belohnungssignalen optimiert werden. Der Erfolg von RL hängt jedoch von der Zuverlässigkeit der Belohnungen ab, die von Verifizierern bereitgestellt werden. In diesem Artikel decken wir ein weit verbreitetes Problem auf und analysieren es – falsche Negative – bei dem Verifizierer korrekte Modellausgaben fälschlicherweise ablehnen. Unsere eingehende Untersuchung des Big-Math-RL-Verified-Datensatzes zeigt, dass über 38 % der modellgenerierten Antworten unter falschen Negativen leiden, bei denen der Verifizierer korrekte Antworten nicht erkennt. Wir zeigen sowohl empirisch als auch theoretisch, dass diese falschen Negative das RL-Training erheblich beeinträchtigen, indem sie dem Modell informative Gradientensignale vorenthalten und die Konvergenz verlangsamen. Um dies zu mildern, schlagen wir tinyV vor, einen leichtgewichtigen, auf LLMs basierenden Verifizierer, der bestehende regelbasierte Methoden ergänzt und potenzielle falsche Negative dynamisch identifiziert sowie gültige Antworten wiederherstellt, um genauere Belohnungsschätzungen zu erzeugen. Über mehrere mathematische Argumentations-Benchmarks hinweg steigert die Integration von TinyV die Erfolgsraten um bis zu 10 % und beschleunigt die Konvergenz im Vergleich zur Baseline. Unsere Ergebnisse unterstreichen die kritische Bedeutung der Behebung von falschen Negativen bei Verifizierern und bieten einen praktischen Ansatz zur Verbesserung der RL-basierten Feinabstimmung von LLMs. Unser Code ist verfügbar unter https://github.com/uw-nsl/TinyV.

English

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL's success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem--false negatives--where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.