Verbetering van Vision-language-modellen met perceptiegerichte procesbeloningsmodellen
Improving Vision-language Models with Perception-centric Process Reward Models
April 27, 2026
Auteurs: Yingqian Min, Kun Zhou, Yifan Li, Yuhuan Wu, Han Peng, Yifan Du, Wayne Xin Zhao, Min Yang, Ji-Rong Wen
cs.AI
Samenvatting
Recente vooruitgang in reinforcement learning met verifieerbare beloningen (RLVR) heeft het complexe redeneervermogen van vision-language-modellen (VLMs) aanzienlijk verbeterd. De uitkomstgerichte supervisie is echter te grof om fouten binnen de redeneerketen te diagnosticeren en te corrigeren. Daarom stellen we Perceval voor, een procesbeloningsmodel (PRM) dat token-level foutlokalisatie mogelijk maakt. Het kan beeldgerelateerde beweringen uit het antwoord extraheren en deze een voor een vergelijken met het visuele bewijs in de afbeelding, om uiteindelijk beweringen die perceptiefouten bevatten terug te geven. Perceval wordt getraind met perceptie-intensieve gesuperviseerde trainingsdata. Vervolgens integreren we Perceval in het RL-trainingsproces om de policy-modellen te trainen. Specifiek passen we, in vergelijking met traditionele GRPO die sequentieniveau-voordelen toepast, token-level voordelen toe door straffen te richten op hallucinatiespans die door Perceval zijn geïdentificeerd, waardoor fijnmazige supervisiesignalen mogelijk worden. Naast het verrijken van het trainingsproces, kan Perceval VLMs ook ondersteunen tijdens de inferentiefase. Met Perceval kunnen we de foutieve delen van het antwoord van het model afkappen en het model vervolgens ofwel direct een nieuw antwoord laten genereren, ofwel aanzetten tot reflectie op zijn eerdere uitvoer. Dit proces kan meerdere keren worden herhaald om schaling tijdens de testfase te bereiken. Experimenten tonen significante verbeteringen op benchmarks uit diverse domeinen aan bij meerdere redenerende VLMs die met RL zijn getraind, wat de belofte onderstreept van perceptiegerichte supervisie als een algemene strategie. Voor schaling tijdens de testfase demonstreert het ook consistente prestatieverbeteringen ten opzichte van andere strategieën, zoals majority voting. Onze code en data zullen openbaar worden vrijgegeven op https://github.com/RUCAIBox/Perceval.
English
Recent advancements in reinforcement learning with verifiable rewards (RLVR) have significantly improved the complex reasoning ability of vision-language models (VLMs). However, its outcome-level supervision is too coarse to diagnose and correct errors within the reasoning chain. To this end, we propose Perceval, a process reward model (PRM) that enables token-level error grounding, which can extract image-related claims from the response and compare them one by one with the visual evidence in the image, ultimately returning claims that contain perceptual errors. Perceval is trained with perception-intensive supervised training data. We then integrate Perceval into the RL training process to train the policy models. Specifically, compared to traditional GRPO, which applies sequence-level advantages, we apply token-level advantages by targeting penalties on hallucinated spans identified by Perceval, thus enabling fine-grained supervision signals. In addition to augmenting the training process, Perceval can also assist VLMs during the inference stage. Using Perceval, we can truncate the erroneous portions of the model's response, and then either have the model regenerate the response directly or induce the model to reflect on its previous output. This process can be repeated multiple times to achieve test-time scaling. Experiments show significant improvements on benchmarks from various domains across multiple reasoning VLMs trained with RL, highlighting the promise of perception-centric supervision as a general-purpose strategy. For test-time scaling, it also demonstrates consistent performance gains over other strategies, such as major voting. Our code and data will be publicly released at https://github.com/RUCAIBox/Perceval.