TinyV: Reduzir Falsos Negativos na Verificação Melhora o Aprendizado por Reforço para o Raciocínio de LLMs

TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

May 20, 2025

Autores: Zhangchen Xu, Yuetai Li, Fengqing Jiang, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Resumo

O Aprendizado por Reforço (RL) tornou-se uma ferramenta poderosa para aprimorar as habilidades de raciocínio de grandes modelos de linguagem (LLMs) ao otimizar suas políticas com sinais de recompensa. No entanto, o sucesso do RL depende da confiabilidade das recompensas, que são fornecidas por verificadores. Neste artigo, expomos e analisamos um problema generalizado—falsos negativos—onde os verificadores rejeitam erroneamente saídas corretas do modelo. Nosso estudo detalhado do conjunto de dados Big-Math-RL-Verified revela que mais de 38% das respostas geradas pelo modelo sofrem de falsos negativos, onde o verificador falha em reconhecer respostas corretas. Mostramos, tanto empiricamente quanto teoricamente, que esses falsos negativos prejudicam severamente o treinamento de RL ao privar o modelo de sinais de gradiente informativos e retardar a convergência. Para mitigar isso, propomos o TinyV, um verificador leve baseado em LLM que complementa os métodos baseados em regras existentes, identificando dinamicamente possíveis falsos negativos e recuperando respostas válidas para produzir estimativas de recompensa mais precisas. Em vários benchmarks de raciocínio matemático, a integração do TinyV aumenta as taxas de acerto em até 10% e acelera a convergência em relação à linha de base. Nossas descobertas destacam a importância crítica de abordar falsos negativos dos verificadores e oferecem uma abordagem prática para melhorar o ajuste fino baseado em RL de LLMs. Nosso código está disponível em https://github.com/uw-nsl/TinyV.

English

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL's success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem--false negatives--where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.