Replanteando los Modelos de Recompensa para la Escalabilidad en Pruebas Multi-Dominio

Resumen

La fiabilidad de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) durante la escalabilidad en tiempo de prueba se evalúa frecuentemente con verificadores externos o modelos de recompensa que distinguen el razonamiento correcto de la lógica defectuosa. Trabajos previos generalmente asumen que los modelos de recompensa basados en el proceso (PRMs, por sus siglas en inglés), que puntúan cada paso intermedio del razonamiento, superan a los modelos de recompensa basados en el resultado (ORMs, por sus siglas en inglés) que evalúan únicamente la respuesta final. Esta perspectiva se basa principalmente en evidencia proveniente de dominios estrechos, cercanos a las matemáticas. Presentamos la primera evaluación unificada de cuatro variantes de modelos de recompensa: ORM y PRM discriminativos (\DisORM, \DisPRM) y ORM y PRM generativos (\GenORM, \GenPRM), en 14 dominios diversos. Contrario a la sabiduría convencional, encontramos que (i) \DisORM tiene un rendimiento similar a \DisPRM, (ii) \GenPRM no es competitivo, y (iii) en general, \GenORM es el más robusto, obteniendo ganancias significativas y consistentes en todos los dominios evaluados. Atribuimos esto a la puntuación paso a paso del estilo PRM, que hereda ruido en las etiquetas del autoetiquetado de los LLMs y tiene dificultades para evaluar trayectorias de razonamiento largas, incluyendo aquellas que implican razonamiento autocorrectivo. Nuestro análisis teórico muestra que la agregación paso a paso amplifica los errores a medida que aumenta la longitud del razonamiento, y nuestras observaciones empíricas confirman este efecto. Estos hallazgos desafían la suposición predominante de que la supervisión detallada es siempre mejor y respaldan la verificación generativa de resultados para el despliegue en múltiples dominios. Publicamos nuestro código, conjuntos de datos y puntos de control en \url{https://github.com/db-Lee/Multi-RM} para facilitar futuras investigaciones en entornos de múltiples dominios.

English

The reliability of large language models (LLMs) during test-time scaling is often assessed with external verifiers or reward models that distinguish correct reasoning from flawed logic. Prior work generally assumes that process reward models (PRMs), which score every intermediate reasoning step, outperform outcome reward models (ORMs) that assess only the final answer. This view is based mainly on evidence from narrow, math-adjacent domains. We present the first unified evaluation of four reward model variants, discriminative ORM and PRM (\DisORM, \DisPRM) and generative ORM and PRM (\GenORM, \GenPRM), across 14 diverse domains. Contrary to conventional wisdom, we find that (i) \DisORM performs on par with \DisPRM, (ii) \GenPRM is not competitive, and (iii) overall, \GenORM is the most robust, yielding significant and consistent gains across every tested domain. We attribute this to PRM-style stepwise scoring, which inherits label noise from LLM auto-labeling and has difficulty evaluating long reasoning trajectories, including those involving self-correcting reasoning. Our theoretical analysis shows that step-wise aggregation compounds errors as reasoning length grows, and our empirical observations confirm this effect. These findings challenge the prevailing assumption that fine-grained supervision is always better and support generative outcome verification for multi-domain deployment. We publicly release our code, datasets, and checkpoints at https://github.com/db-Lee/Multi-RM{\small\texttt{https://github.com/db-Lee/Multi-RM}} to facilitate future research in multi-domain settings.

Replanteando los Modelos de Recompensa para la Escalabilidad en Pruebas Multi-Dominio

Rethinking Reward Models for Multi-Domain Test-Time Scaling

Resumen

Support