VerifyBench: Avaliação Comparativa de Sistemas de Recompensa Baseados em Referência para Modelos de Linguagem de Grande Escala
VerifyBench: Benchmarking Reference-based Reward Systems for Large Language Models
May 21, 2025
Autores: Yuchen Yan, Jin Jiang, Zhenbang Ren, Yijun Li, Xudong Cai, Yang Liu, Xin Xu, Mengdi Zhang, Jian Shao, Yongliang Shen, Jun Xiao, Yueting Zhuang
cs.AI
Resumo
Modelos de raciocínio em larga escala, como o OpenAI o1 e o DeepSeek-R1, alcançaram desempenho notável no domínio do raciocínio. Um componente essencial de seu treinamento é a incorporação de recompensas verificáveis no aprendizado por reforço (RL). No entanto, os benchmarks de recompensa existentes não avaliam sistemas de recompensa baseados em referência, deixando os pesquisadores com uma compreensão limitada da precisão dos verificadores utilizados no RL. Neste artigo, introduzimos dois benchmarks, VerifyBench e VerifyBench-Hard, projetados para avaliar o desempenho de sistemas de recompensa baseados em referência. Esses benchmarks são construídos por meio de coleta e curadoria meticulosa de dados, seguida por anotação humana cuidadosa para garantir alta qualidade. Os modelos atuais ainda mostram espaço considerável para melhoria tanto no VerifyBench quanto no VerifyBench-Hard, especialmente modelos em menor escala. Além disso, realizamos uma análise detalhada e abrangente dos resultados de avaliação, oferecendo insights para a compreensão e o desenvolvimento de sistemas de recompensa baseados em referência. Nossos benchmarks propostos servem como ferramentas eficazes para orientar o desenvolvimento da precisão dos verificadores e das capacidades de raciocínio de modelos treinados via RL em tarefas de raciocínio.
English
Large reasoning models such as OpenAI o1 and DeepSeek-R1 have achieved
remarkable performance in the domain of reasoning. A key component of their
training is the incorporation of verifiable rewards within reinforcement
learning (RL). However, existing reward benchmarks do not evaluate
reference-based reward systems, leaving researchers with limited understanding
of the accuracy of verifiers used in RL. In this paper, we introduce two
benchmarks, VerifyBench and VerifyBench-Hard, designed to assess the
performance of reference-based reward systems. These benchmarks are constructed
through meticulous data collection and curation, followed by careful human
annotation to ensure high quality. Current models still show considerable room
for improvement on both VerifyBench and VerifyBench-Hard, especially
smaller-scale models. Furthermore, we conduct a thorough and comprehensive
analysis of evaluation results, offering insights for understanding and
developing reference-based reward systems. Our proposed benchmarks serve as
effective tools for guiding the development of verifier accuracy and the
reasoning capabilities of models trained via RL in reasoning tasks.