VerifyBench: Бенчмаркинг референс-ориентированных систем вознаграждения для крупных языковых моделей

VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models

May 21, 2025

Авторы: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang

cs.AI

Аннотация

Крупные модели рассуждений, такие как OpenAI o1 и DeepSeek-R1, достигли выдающихся результатов в области логического мышления. Ключевым компонентом их обучения является включение верифицируемых вознаграждений в рамках обучения с подкреплением (RL). Однако существующие бенчмарки для оценки вознаграждений не охватывают системы, основанные на эталонных данных, что ограничивает понимание исследователями точности верификаторов, используемых в RL. В данной статье мы представляем два бенчмарка, VerifyBench и VerifyBench-Hard, разработанные для оценки производительности систем вознаграждений, основанных на эталонных данных. Эти бенчмарки созданы путем тщательного сбора и обработки данных, а также последующей аккуратной аннотации человеком для обеспечения высокого качества. Современные модели демонстрируют значительный потенциал для улучшения на обоих бенчмарках, особенно модели меньшего масштаба. Кроме того, мы проводим всесторонний и детальный анализ результатов оценки, предлагая инсайты для понимания и разработки систем вознаграждений, основанных на эталонных данных. Предложенные нами бенчмарки служат эффективными инструментами для повышения точности верификаторов и улучшения способностей моделей, обученных с помощью RL, в задачах логического рассуждения.

English

Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved remarkable performance in the domain of reasoning. A key component of their training is the incorporation of verifiable rewards within reinforcement learning (RL). However, existing reward benchmarks do not evaluate reference-based reward systems, leaving researchers with limited understanding of the accuracy of verifiers used in RL. In this paper, we introduce two benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the performance of reference-based reward systems. These benchmarks are constructed through meticulous data collection and curation, followed by careful human annotation to ensure high quality. Current models still show considerable room for improvement on both VerifyBench and VerifyBench-Hard, especially smaller-scale models. Furthermore, we conduct a thorough and comprehensive analysis of evaluation results, offering insights for understanding and developing reference-based reward systems. Our proposed benchmarks serve as effective tools for guiding the development of verifier accuracy and the reasoning capabilities of models trained via RL in reasoning tasks.