Miglioramento dei Modelli Linguaggio-Visione mediante Modelli di Ricompensa di Processo Centrati sulla Percezione

Improving Vision-language Models with Perception-centric Process Reward Models

April 27, 2026

Autori: Yingqian Min, Kun Zhou, Yifan Li, Yuhuan Wu, Han Peng, Yifan Du, Wayne Xin Zhao, Min Yang, Ji-Rong Wen

cs.AI

Abstract

I recenti progressi nel reinforcement learning con ricompense verificabili (RLVR) hanno migliorato significativamente la capacità di ragionamento complesso dei modelli visione-linguaggio (VLM). Tuttavia, la supervisione a livello di risultato è troppo approssimativa per diagnosticare e correggere gli errori all'interno della catena di ragionamento. A tal fine, proponiamo Perceval, un modello di ricompensa di processo (PRM) che consente la localizzazione degli errori a livello di token, in grado di estrarre asserzioni relative all'immagine dalla risposta e confrontarle una per una con l'evidenza visiva nell'immagine, restituendo infine le asserzioni che contengono errori percettivi. Perceval è addestrato con dati di addestramento supervisionati incentrati sulla percezione. Successivamente, integriamo Perceval nel processo di addestramento RL per addestrare i modelli policy. Nello specifico, rispetto al tradizionale GRPO che applica vantaggi a livello di sequenza, noi applichiamo vantaggi a livello di token mirando a penalizzare le porzioni allucinate identificate da Perceval, abilitando così segnali di supervisione a grana fine. Oltre a potenziare il processo di addestramento, Perceval può anche assistere i VLM durante la fase di inferenza. Utilizzando Perceval, possiamo troncare le porzioni errate della risposta del modello, per poi far rigenerare direttamente la risposta al modello o indurlo a riflettere sul suo output precedente. Questo processo può essere ripetuto più volte per ottenere un scaling a runtime. Gli esperimenti mostrano miglioramenti significativi su benchmark di vari domini per diversi VLM di ragionamento addestrati con RL, evidenziando le potenzialità della supervisione incentrata sulla percezione come strategia generica. Per lo scaling a runtime, si dimostrano anche guadagni di prestazioni consistenti rispetto ad altre strategie, come il voto di maggioranza. Il nostro codice e i nostri dati saranno rilasciati pubblicamente all'indirizzo https://github.com/RUCAIBox/Perceval.

English

Recent advancements in reinforcement learning with verifiable rewards (RLVR) have significantly improved the complex reasoning ability of vision-language models (VLMs). However, its outcome-level supervision is too coarse to diagnose and correct errors within the reasoning chain. To this end, we propose Perceval, a process reward model (PRM) that enables token-level error grounding, which can extract image-related claims from the response and compare them one by one with the visual evidence in the image, ultimately returning claims that contain perceptual errors. Perceval is trained with perception-intensive supervised training data. We then integrate Perceval into the RL training process to train the policy models. Specifically, compared to traditional GRPO, which applies sequence-level advantages, we apply token-level advantages by targeting penalties on hallucinated spans identified by Perceval, thus enabling fine-grained supervision signals. In addition to augmenting the training process, Perceval can also assist VLMs during the inference stage. Using Perceval, we can truncate the erroneous portions of the model's response, and then either have the model regenerate the response directly or induce the model to reflect on its previous output. This process can be repeated multiple times to achieve test-time scaling. Experiments show significant improvements on benchmarks from various domains across multiple reasoning VLMs trained with RL, highlighting the promise of perception-centric supervision as a general-purpose strategy. For test-time scaling, it also demonstrates consistent performance gains over other strategies, such as major voting. Our code and data will be publicly released at https://github.com/RUCAIBox/Perceval.