VerifyBench: Benchmarking dei Sistemi di Ricompensa Basati su Riferimento per Modelli Linguistici di Grande Dimensione

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

May 21, 2025

Autori: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

cs.AI

Abstract

Grandi modelli di ragionamento come OpenAI o1 e DeepSeek-R1 hanno ottenuto prestazioni notevoli nel dominio del ragionamento. Un componente chiave del loro addestramento è l'incorporazione di ricompense verificabili all'interno dell'apprendimento per rinforzo (RL). Tuttavia, i benchmark di ricompensa esistenti non valutano i sistemi di ricompensa basati su riferimenti, lasciando i ricercatori con una comprensione limitata dell'accuratezza dei verificatori utilizzati nell'RL. In questo articolo, introduciamo due benchmark, VerifyBench e VerifyBench-Hard, progettati per valutare le prestazioni dei sistemi di ricompensa basati su riferimenti. Questi benchmark sono costruiti attraverso una meticolosa raccolta e curatela dei dati, seguita da un'attenta annotazione umana per garantire un'elevata qualità. I modelli attuali mostrano ancora un notevole margine di miglioramento sia su VerifyBench che su VerifyBench-Hard, specialmente i modelli di scala più piccola. Inoltre, conduciamo un'analisi approfondita e completa dei risultati di valutazione, offrendo spunti per comprendere e sviluppare sistemi di ricompensa basati su riferimenti. I benchmark proposti servono come strumenti efficaci per guidare lo sviluppo dell'accuratezza dei verificatori e delle capacità di ragionamento dei modelli addestrati tramite RL in compiti di ragionamento.

English

Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved remarkable performance in the domain of reasoning. A key component of their training is the incorporation of verifiable rewards within reinforcement learning (RL). However, existing reward benchmarks do not evaluate reference-based reward systems, leaving researchers with limited understanding of the accuracy of verifiers used in RL. In this paper, we introduce two benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the performance of reference-based reward systems. These benchmarks are constructed through meticulous data collection and curation, followed by careful human annotation to ensure high quality. Current models still show considerable room for improvement on both VerifyBench and VerifyBench-Hard, especially smaller-scale models. Furthermore, we conduct a thorough and comprehensive analysis of evaluation results, offering insights for understanding and developing reference-based reward systems. Our proposed benchmarks serve as effective tools for guiding the development of verifier accuracy and the reasoning capabilities of models trained via RL in reasoning tasks.