TinyV : Réduire les faux négatifs dans la vérification améliore l'apprentissage par renforcement pour le raisonnement des grands modèles de langage

TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

May 20, 2025

Auteurs: Zhangchen Xu, Yuetai Li, Fengqing Jiang, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Résumé

L'apprentissage par renforcement (Reinforcement Learning, RL) est devenu un outil puissant pour améliorer les capacités de raisonnement des grands modèles de langage (Large Language Models, LLMs) en optimisant leurs politiques grâce à des signaux de récompense. Cependant, le succès du RL repose sur la fiabilité des récompenses, qui sont fournies par des vérificateurs. Dans cet article, nous exposons et analysons un problème répandu—les faux négatifs—où les vérificateurs rejettent à tort des sorties correctes du modèle. Notre étude approfondie du jeu de données Big-Math-RL-Verified révèle que plus de 38 % des réponses générées par le modèle souffrent de faux négatifs, où le vérificateur ne parvient pas à reconnaître les réponses correctes. Nous démontrons, à la fois empiriquement et théoriquement, que ces faux négatifs nuisent gravement à l'entraînement du RL en privant le modèle de signaux de gradient informatifs et en ralentissant la convergence. Pour atténuer ce problème, nous proposons TinyV, un vérificateur léger basé sur un LLM qui complète les méthodes existantes basées sur des règles, en identifiant dynamiquement les faux négatifs potentiels et en récupérant les réponses valides pour produire des estimations de récompense plus précises. Sur plusieurs benchmarks de raisonnement mathématique, l'intégration de TinyV améliore les taux de réussite jusqu'à 10 % et accélère la convergence par rapport à la référence. Nos résultats soulignent l'importance cruciale de traiter les faux négatifs des vérificateurs et proposent une approche pratique pour améliorer le réglage fin des LLMs basé sur le RL. Notre code est disponible à l'adresse https://github.com/uw-nsl/TinyV.

English

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL's success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem--false negatives--where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.