TinyV: Reducir los falsos negativos en la verificación mejora el aprendizaje por refuerzo para el razonamiento en LLM

TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

May 20, 2025

Autores: Zhangchen Xu, Yuetai Li, Fengqing Jiang, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Resumen

El Aprendizaje por Refuerzo (RL, por sus siglas en inglés) se ha convertido en una herramienta poderosa para mejorar las capacidades de razonamiento de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) al optimizar sus políticas mediante señales de recompensa. Sin embargo, el éxito del RL depende de la fiabilidad de las recompensas, las cuales son proporcionadas por verificadores. En este artículo, exponemos y analizamos un problema generalizado—los falsos negativos—donde los verificadores rechazan incorrectamente salidas correctas del modelo. Nuestro estudio detallado del conjunto de datos Big-Math-RL-Verified revela que más del 38% de las respuestas generadas por el modelo sufren de falsos negativos, donde el verificador no reconoce respuestas correctas. Demostramos, tanto empírica como teóricamente, que estos falsos negativos perjudican gravemente el entrenamiento de RL al privar al modelo de señales de gradiente informativas y ralentizar la convergencia. Para mitigar esto, proponemos TinyV, un verificador ligero basado en LLMs que complementa los métodos basados en reglas existentes, identificando dinámicamente posibles falsos negativos y recuperando respuestas válidas para producir estimaciones de recompensa más precisas. En múltiples benchmarks de razonamiento matemático, la integración de TinyV aumenta las tasas de acierto hasta en un 10% y acelera la convergencia en comparación con la línea base. Nuestros hallazgos resaltan la importancia crítica de abordar los falsos negativos de los verificadores y ofrecen un enfoque práctico para mejorar el ajuste fino basado en RL de los LLMs. Nuestro código está disponible en https://github.com/uw-nsl/TinyV.

English

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL's success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem--false negatives--where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.