VerifyBench: Benchmarking referenzbasierter Belohnungssysteme für große Sprachmodelle

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

May 21, 2025

Autoren: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

cs.AI

Zusammenfassung

Große Reasoning-Modelle wie OpenAI o1 und DeepSeek-R1 haben bemerkenswerte Leistungen im Bereich des logischen Schließens erzielt. Ein zentraler Bestandteil ihres Trainings ist die Einbindung von überprüfbaren Belohnungen im Rahmen des Reinforcement Learning (RL). Allerdings bewerten bestehende Belohnungs-Benchmarks keine referenzbasierten Belohnungssysteme, was Forschern nur ein begrenztes Verständnis der Genauigkeit der in RL verwendeten Verifizierer ermöglicht. In diesem Artikel führen wir zwei Benchmarks ein, VerifyBench und VerifyBench-Hard, die darauf abzielen, die Leistung referenzbasierter Belohnungssysteme zu bewerten. Diese Benchmarks wurden durch sorgfältige Datensammlung und -kuratierung sowie anschließende manuelle Annotation erstellt, um eine hohe Qualität sicherzustellen. Aktuelle Modelle zeigen auf beiden Benchmarks noch erheblichen Verbesserungsbedarf, insbesondere kleinere Modelle. Darüber hinaus führen wir eine umfassende Analyse der Evaluierungsergebnisse durch, die Einblicke in das Verständnis und die Entwicklung referenzbasierter Belohnungssysteme bietet. Unsere vorgeschlagenen Benchmarks dienen als effektive Werkzeuge, um die Entwicklung der Genauigkeit von Verifizierern und die Reasoning-Fähigkeiten von Modellen, die über RL in Reasoning-Aufgaben trainiert werden, zu unterstützen.

English

Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved remarkable performance in the domain of reasoning. A key component of their training is the incorporation of verifiable rewards within reinforcement learning (RL). However, existing reward benchmarks do not evaluate reference-based reward systems, leaving researchers with limited understanding of the accuracy of verifiers used in RL. In this paper, we introduce two benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the performance of reference-based reward systems. These benchmarks are constructed through meticulous data collection and curation, followed by careful human annotation to ensure high quality. Current models still show considerable room for improvement on both VerifyBench and VerifyBench-Hard, especially smaller-scale models. Furthermore, we conduct a thorough and comprehensive analysis of evaluation results, offering insights for understanding and developing reference-based reward systems. Our proposed benchmarks serve as effective tools for guiding the development of verifier accuracy and the reasoning capabilities of models trained via RL in reasoning tasks.