Errores Comunes en los Verificadores Basados en Reglas y Modelos: Un Estudio de Caso sobre el Razonamiento Matemático

Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

May 28, 2025

Autores: Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

cs.AI

Resumen

Los verificadores confiables son esenciales para el éxito del aprendizaje por refuerzo con recompensa verificable (RLVR, por sus siglas en inglés), que es la metodología central detrás de varios modelos de razonamiento a gran escala, como DeepSeek-R1. En dominios complejos como el razonamiento matemático, los verificadores basados en reglas han sido ampliamente adoptados en trabajos previos para entrenar modelos de razonamiento robustos. Sin embargo, la confiabilidad de estos verificadores y su impacto en el proceso de entrenamiento de RL siguen siendo poco comprendidos. En este trabajo, tomamos el razonamiento matemático como un estudio de caso y realizamos un análisis exhaustivo de varios verificadores en escenarios de evaluación estática y entrenamiento de RL. En primer lugar, encontramos que los verificadores basados en reglas de código abierto actuales a menudo no reconocen respuestas equivalentes presentadas en diferentes formatos en múltiples conjuntos de datos matemáticos comúnmente utilizados, lo que resulta en tasas de falsos negativos no despreciables. Esta limitación afecta negativamente el rendimiento del entrenamiento de RL y se vuelve más pronunciada a medida que el modelo de política se fortalece. Posteriormente, investigamos los verificadores basados en modelos como una solución potencial para abordar estas limitaciones. Si bien la evaluación estática muestra que los verificadores basados en modelos logran una precisión de verificación significativamente mayor, un análisis más detallado y los resultados del entrenamiento de RL sugieren que son altamente susceptibles a ser hackeados, donde clasifican erróneamente ciertos patrones en las respuestas como correctos (es decir, falsos positivos). Esta vulnerabilidad es explotada durante la optimización del modelo de política, lo que lleva a recompensas artificialmente infladas. Nuestros hallazgos subrayan los riesgos únicos inherentes tanto a los verificadores basados en reglas como a los basados en modelos, con el objetivo de ofrecer insights valiosos para desarrollar sistemas de recompensa más robustos en el aprendizaje por refuerzo.

English

Trustworthy verifiers are essential for the success of reinforcement learning with verifiable reward (RLVR), which is the core methodology behind various large reasoning models such as DeepSeek-R1. In complex domains like mathematical reasoning, rule-based verifiers have been widely adopted in previous works to train strong reasoning models. However, the reliability of these verifiers and their impact on the RL training process remain poorly understood. In this work, we take mathematical reasoning as a case study and conduct a comprehensive analysis of various verifiers in both static evaluation and RL training scenarios. First, we find that current open-source rule-based verifiers often fail to recognize equivalent answers presented in different formats across multiple commonly used mathematical datasets, resulting in non-negligible false negative rates. This limitation adversely affects RL training performance and becomes more pronounced as the policy model gets stronger. Subsequently, we investigate model-based verifiers as a potential solution to address these limitations. While the static evaluation shows that model-based verifiers achieve significantly higher verification accuracy, further analysis and RL training results imply that they are highly susceptible to hacking, where they misclassify certain patterns in responses as correct (i.e., false positives). This vulnerability is exploited during policy model optimization, leading to artificially inflated rewards. Our findings underscore the unique risks inherent to both rule-based and model-based verifiers, aiming to offer valuable insights to develop more robust reward systems in reinforcement learning.