VerifyBench : Évaluation comparative des systèmes de récompense basés sur des références pour les grands modèles de langage

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

May 21, 2025

Auteurs: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

cs.AI

Résumé

Les grands modèles de raisonnement tels qu'OpenAI o1 et DeepSeek-R1 ont atteint des performances remarquables dans le domaine du raisonnement. Un élément clé de leur entraînement est l'intégration de récompenses vérifiables dans l'apprentissage par renforcement (RL). Cependant, les benchmarks de récompense existants n'évaluent pas les systèmes de récompense basés sur des références, laissant les chercheurs avec une compréhension limitée de la précision des vérificateurs utilisés en RL. Dans cet article, nous introduisons deux benchmarks, VerifyBench et VerifyBench-Hard, conçus pour évaluer la performance des systèmes de récompense basés sur des références. Ces benchmarks sont construits grâce à une collecte et une curation méticuleuses des données, suivies d'une annotation humaine soignée pour garantir une haute qualité. Les modèles actuels montrent encore une marge d'amélioration considérable sur VerifyBench et VerifyBench-Hard, en particulier les modèles à plus petite échelle. De plus, nous menons une analyse approfondie et complète des résultats d'évaluation, offrant des insights pour comprendre et développer des systèmes de récompense basés sur des références. Nos benchmarks proposés servent d'outils efficaces pour guider le développement de la précision des vérificateurs et des capacités de raisonnement des modèles entraînés via RL dans les tâches de raisonnement.

English

Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved remarkable performance in the domain of reasoning. A key component of their training is the incorporation of verifiable rewards within reinforcement learning (RL). However, existing reward benchmarks do not evaluate reference-based reward systems, leaving researchers with limited understanding of the accuracy of verifiers used in RL. In this paper, we introduce two benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the performance of reference-based reward systems. These benchmarks are constructed through meticulous data collection and curation, followed by careful human annotation to ensure high quality. Current models still show considerable room for improvement on both VerifyBench and VerifyBench-Hard, especially smaller-scale models. Furthermore, we conduct a thorough and comprehensive analysis of evaluation results, offering insights for understanding and developing reference-based reward systems. Our proposed benchmarks serve as effective tools for guiding the development of verifier accuracy and the reasoning capabilities of models trained via RL in reasoning tasks.