VerifyBench: Evaluación Comparativa de Sistemas de Recompensas Basados en Referencias para Modelos de Lenguaje a Gran Escala

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

May 21, 2025

Autores: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

cs.AI

Resumen

Los grandes modelos de razonamiento, como OpenAI o1 y DeepSeek-R1, han logrado un rendimiento notable en el ámbito del razonamiento. Un componente clave de su entrenamiento es la incorporación de recompensas verificables dentro del aprendizaje por refuerzo (RL, por sus siglas en inglés). Sin embargo, los puntos de referencia de recompensa existentes no evalúan los sistemas de recompensa basados en referencias, lo que deja a los investigadores con una comprensión limitada de la precisión de los verificadores utilizados en RL. En este artículo, presentamos dos puntos de referencia, VerifyBench y VerifyBench-Hard, diseñados para evaluar el rendimiento de los sistemas de recompensa basados en referencias. Estos puntos de referencia se construyen mediante una recopilación y curación meticulosa de datos, seguida de una cuidadosa anotación humana para garantizar una alta calidad. Los modelos actuales aún muestran un margen considerable de mejora tanto en VerifyBench como en VerifyBench-Hard, especialmente los modelos de menor escala. Además, realizamos un análisis exhaustivo y detallado de los resultados de la evaluación, ofreciendo ideas para comprender y desarrollar sistemas de recompensa basados en referencias. Nuestros puntos de referencia propuestos sirven como herramientas efectivas para guiar el desarrollo de la precisión de los verificadores y las capacidades de razonamiento de los modelos entrenados mediante RL en tareas de razonamiento.

English

Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved remarkable performance in the domain of reasoning. A key component of their training is the incorporation of verifiable rewards within reinforcement learning (RL). However, existing reward benchmarks do not evaluate reference-based reward systems, leaving researchers with limited understanding of the accuracy of verifiers used in RL. In this paper, we introduce two benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the performance of reference-based reward systems. These benchmarks are constructed through meticulous data collection and curation, followed by careful human annotation to ensure high quality. Current models still show considerable room for improvement on both VerifyBench and VerifyBench-Hard, especially smaller-scale models. Furthermore, we conduct a thorough and comprehensive analysis of evaluation results, offering insights for understanding and developing reference-based reward systems. Our proposed benchmarks serve as effective tools for guiding the development of verifier accuracy and the reasoning capabilities of models trained via RL in reasoning tasks.