TinyV: Ridurre i falsi negativi nella verifica migliora l'apprendimento per rinforzo nel ragionamento con LLM

TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

May 20, 2025

Autori: Zhangchen Xu, Yuetai Li, Fengqing Jiang, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Abstract

Il Reinforcement Learning (RL) è diventato uno strumento potente per migliorare le capacità di ragionamento dei grandi modelli linguistici (LLM) ottimizzando le loro politiche attraverso segnali di ricompensa. Tuttavia, il successo del RL dipende dall'affidabilità delle ricompense, che sono fornite da verificatori. In questo articolo, esponiamo e analizziamo un problema diffuso—i falsi negativi—dove i verificatori rifiutano erroneamente output corretti del modello. Il nostro studio approfondito del dataset Big-Math-RL-Verified rivela che oltre il 38% delle risposte generate dal modello soffre di falsi negativi, in cui il verificatore non riconosce risposte corrette. Dimostriamo, sia empiricamente che teoricamente, che questi falsi negativi compromettono gravemente l'addestramento del RL privando il modello di segnali di gradiente informativi e rallentando la convergenza. Per mitigare questo problema, proponiamo TinyV, un verificatore leggero basato su LLM che integra i metodi esistenti basati su regole, identificando dinamicamente potenziali falsi negativi e recuperando risposte valide per produrre stime di ricompensa più accurate. Su più benchmark di ragionamento matematico, l'integrazione di TinyV aumenta i tassi di successo fino al 10% e accelera la convergenza rispetto alla baseline. I nostri risultati evidenziano l'importanza cruciale di affrontare i falsi negativi dei verificatori e offrono un approccio pratico per migliorare il fine-tuning basato su RL dei LLM. Il nostro codice è disponibile all'indirizzo https://github.com/uw-nsl/TinyV.

English

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL's success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem--false negatives--where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.