VerifyBench: Benchmarken van referentiegebaseerde beloningssystemen voor grote taalmodellen

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

May 21, 2025

Auteurs: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

cs.AI

Samenvatting

Grote redeneermodellen zoals OpenAI o1 en DeepSeek-R1 hebben opmerkelijke prestaties geleverd op het gebied van redeneren. Een belangrijk onderdeel van hun training is de integratie van verifieerbare beloningen binnen reinforcement learning (RL). Bestaande beloningsbenchmarks evalueren echter geen referentiegebaseerde beloningssystemen, waardoor onderzoekers beperkt inzicht hebben in de nauwkeurigheid van verificatoren die in RL worden gebruikt. In dit artikel introduceren we twee benchmarks, VerifyBench en VerifyBench-Hard, die zijn ontworpen om de prestaties van referentiegebaseerde beloningssystemen te beoordelen. Deze benchmarks zijn opgebouwd door zorgvuldige gegevensverzameling en -curatie, gevolgd door nauwkeurige menselijke annotatie om een hoge kwaliteit te waarborgen. Huidige modellen laten nog aanzienlijke ruimte voor verbetering zien op zowel VerifyBench als VerifyBench-Hard, met name kleinere modellen. Daarnaast voeren we een grondige en uitgebreide analyse uit van de evaluatieresultaten, wat inzichten biedt voor het begrijpen en ontwikkelen van referentiegebaseerde beloningssystemen. Onze voorgestelde benchmarks dienen als effectieve hulpmiddelen om de ontwikkeling van de nauwkeurigheid van verificatoren en de redeneervaardigheden van via RL getrainde modellen in redeneertaken te begeleiden.

English

Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved remarkable performance in the domain of reasoning. A key component of their training is the incorporation of verifiable rewards within reinforcement learning (RL). However, existing reward benchmarks do not evaluate reference-based reward systems, leaving researchers with limited understanding of the accuracy of verifiers used in RL. In this paper, we introduce two benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the performance of reference-based reward systems. These benchmarks are constructed through meticulous data collection and curation, followed by careful human annotation to ensure high quality. Current models still show considerable room for improvement on both VerifyBench and VerifyBench-Hard, especially smaller-scale models. Furthermore, we conduct a thorough and comprehensive analysis of evaluation results, offering insights for understanding and developing reference-based reward systems. Our proposed benchmarks serve as effective tools for guiding the development of verifier accuracy and the reasoning capabilities of models trained via RL in reasoning tasks.