VisualPRM: Um Modelo Eficaz de Recompensa de Processo para Raciocínio Multimodal

VisualPRM: An Effective Process Reward Model for Multimodal Reasoning

March 13, 2025

Autores: Weiyun Wang, Zhangwei Gao, Lianjie Chen, Zhe Chen, Jinguo Zhu, Xiangyu Zhao, Yangzhou Liu, Yue Cao, Shenglong Ye, Xizhou Zhu, Lewei Lu, Haodong Duan, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Resumo

Apresentamos o VisualPRM, um Modelo de Recompensa de Processo (PRM) multimodal avançado com 8 bilhões de parâmetros, que aprimora as habilidades de raciocínio dos Modelos de Linguagem Multimodal de Grande Escala (MLLMs) existentes em diferentes escalas e famílias de modelos, utilizando estratégias de avaliação Best-of-N (BoN). Especificamente, nosso modelo melhora o desempenho de raciocínio de três tipos de MLLMs e quatro escalas de modelos diferentes. Mesmo quando aplicado ao altamente capacitado InternVL2.5-78B, ele alcança uma melhoria de 5,9 pontos em sete benchmarks de raciocínio multimodal. Os resultados experimentais mostram que nosso modelo exibe desempenho superior em comparação com Modelos de Recompensa de Resultado e Auto-Consistência durante a avaliação BoN. Para facilitar o treinamento de PRMs multimodais, construímos um conjunto de dados de supervisão de processo multimodal, o VisualPRM400K, utilizando um pipeline de dados automatizado. Para a avaliação de PRMs multimodais, propomos o VisualProcessBench, um benchmark com rótulos de correção passo a passo anotados por humanos, para medir as habilidades dos PRMs em detectar etapas errôneas em tarefas de raciocínio multimodal. Esperamos que nosso trabalho possa inspirar mais pesquisas futuras e contribuir para o desenvolvimento de MLLMs. Nosso modelo, dados e benchmark estão disponíveis em https://internvl.github.io/blog/2025-03-13-VisualPRM/.

English

We introduce VisualPRM, an advanced multimodal Process Reward Model (PRM) with 8B parameters, which improves the reasoning abilities of existing Multimodal Large Language Models (MLLMs) across different model scales and families with Best-of-N (BoN) evaluation strategies. Specifically, our model improves the reasoning performance of three types of MLLMs and four different model scales. Even when applied to the highly capable InternVL2.5-78B, it achieves a 5.9-point improvement across seven multimodal reasoning benchmarks. Experimental results show that our model exhibits superior performance compared to Outcome Reward Models and Self-Consistency during BoN evaluation. To facilitate the training of multimodal PRMs, we construct a multimodal process supervision dataset VisualPRM400K using an automated data pipeline. For the evaluation of multimodal PRMs, we propose VisualProcessBench, a benchmark with human-annotated step-wise correctness labels, to measure the abilities of PRMs to detect erroneous steps in multimodal reasoning tasks. We hope that our work can inspire more future research and contribute to the development of MLLMs. Our model, data, and benchmark are released in https://internvl.github.io/blog/2025-03-13-VisualPRM/.