Melhorando Modelos de Visão e Linguagem com Modelos de Recompensa de Processo Centrados na Percepção
Improving Vision-language Models with Perception-centric Process Reward Models
April 27, 2026
Autores: Yingqian Min, Kun Zhou, Yifan Li, Yuhuan Wu, Han Peng, Yifan Du, Wayne Xin Zhao, Min Yang, Ji-Rong Wen
cs.AI
Resumo
Os recentes avanços no reforço de aprendizagem com recompensas verificáveis (RLVR) melhoraram significativamente a capacidade de raciocínio complexo dos modelos visão-linguagem (VLMs). No entanto, a sua supervisão a nível de resultados é demasiado grosseira para diagnosticar e corrigir erros dentro da cadeia de raciocínio. Para tal, propomos o Perceval, um modelo de recompensa de processo (PRM) que permite a localização de erros a nível de token, capaz de extrair afirmações relacionadas com a imagem da resposta e compará-las uma a uma com a evidência visual na imagem, retornando, por fim, as afirmações que contêm erros perceptivos. O Perceval é treinado com dados de treino supervisionados intensivos em percepção. Em seguida, integramos o Perceval no processo de treino de RL para treinar os modelos de política. Especificamente, em comparação com o GRPO tradicional, que aplica vantagens a nível de sequência, nós aplicamos vantagens a nível de token, direcionando penalizações para os segmentos alucinados identificados pelo Perceval, permitindo assim sinais de supervisão de granularidade fina. Para além de aumentar o processo de treino, o Perceval também pode auxiliar os VLMs durante a fase de inferência. Utilizando o Perceval, podemos truncar as porções erróneas da resposta do modelo e, em seguida, fazer com que o modelo regenere a resposta diretamente ou induzi-lo a refletir sobre a sua saída anterior. Este processo pode ser repetido várias vezes para alcançar um escalamento em tempo de teste. Experiências mostram melhorias significativas em benchmarks de vários domínios em múltiplos VLMs de raciocínio treinados com RL, destacando o potencial da supervisão centrada na perceção como uma estratégia de propósito geral. Para o escalamento em tempo de teste, também demonstra ganhos de desempenho consistentes face a outras estratégias, como a votação majoritária. O nosso código e dados serão publicamente disponibilizados em https://github.com/RUCAIBox/Perceval.
English
Recent advancements in reinforcement learning with verifiable rewards (RLVR) have significantly improved the complex reasoning ability of vision-language models (VLMs). However, its outcome-level supervision is too coarse to diagnose and correct errors within the reasoning chain. To this end, we propose Perceval, a process reward model (PRM) that enables token-level error grounding, which can extract image-related claims from the response and compare them one by one with the visual evidence in the image, ultimately returning claims that contain perceptual errors. Perceval is trained with perception-intensive supervised training data. We then integrate Perceval into the RL training process to train the policy models. Specifically, compared to traditional GRPO, which applies sequence-level advantages, we apply token-level advantages by targeting penalties on hallucinated spans identified by Perceval, thus enabling fine-grained supervision signals. In addition to augmenting the training process, Perceval can also assist VLMs during the inference stage. Using Perceval, we can truncate the erroneous portions of the model's response, and then either have the model regenerate the response directly or induce the model to reflect on its previous output. This process can be repeated multiple times to achieve test-time scaling. Experiments show significant improvements on benchmarks from various domains across multiple reasoning VLMs trained with RL, highlighting the promise of perception-centric supervision as a general-purpose strategy. For test-time scaling, it also demonstrates consistent performance gains over other strategies, such as major voting. Our code and data will be publicly released at https://github.com/RUCAIBox/Perceval.