Modello Visione-Linguaggio con Auto-Ricompensa tramite Scomposizione del Ragionamento

Self-Rewarding Vision-Language Model via Reasoning Decomposition

August 27, 2025

Autori: Zongxia Li, Wenhao Yu, Chengsong Huang, Rui Liu, Zhenwen Liang, Fuxiao Liu, Jingxi Che, Dian Yu, Jordan Boyd-Graber, Haitao Mi, Dong Yu

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) spesso soffrono di allucinazioni visive, affermando cose che in realtà non sono presenti nell'immagine, e di scorciatoie linguistiche, in cui saltano la parte visiva e si affidano esclusivamente a conoscenze pregresse testuali. Questi problemi sorgono perché la maggior parte dei metodi di post-addestramento per i VLMs si basa su semplici corrispondenze di risposte verificabili e supervisiona solo gli output finali, lasciando il ragionamento visivo intermedio senza una guida esplicita. Di conseguenza, i VLMs ricevono segnali visivi sporadici e spesso imparano a privilegiare il ragionamento basato sul linguaggio rispetto alla percezione visiva. Per mitigare questo problema, alcuni metodi esistenti aggiungono supervisione visiva utilizzando annotazioni umane o etichette distillate da modelli esterni di grandi dimensioni. Tuttavia, le annotazioni umane sono laboriose e costose, e poiché i segnali esterni non possono adattarsi alla politica in evoluzione, causano spostamenti distributivi che possono portare a manipolazioni del reward. In questo articolo, introduciamo Vision-SR1, un metodo di auto-ricompensa che migliora il ragionamento visivo senza fare affidamento su supervisioni visive esterne, attraverso l'apprendimento per rinforzo. Vision-SR1 scompone il ragionamento dei VLMs in due fasi: percezione visiva e ragionamento linguistico. Il modello viene prima sollecitato a produrre percezioni visive autosufficienti che siano sufficienti a rispondere alla domanda senza fare riferimento all'immagine di input. Per validare questa autosufficienza, lo stesso modello VLM viene poi ri-sollecitato a eseguire il ragionamento linguistico utilizzando solo la percezione generata come input per calcolare la ricompensa. Questa auto-ricompensa è combinata con la supervisione sugli output finali, fornendo un segnale di addestramento bilanciato che rafforza sia la percezione visiva che il ragionamento linguistico. I nostri esperimenti dimostrano che Vision-SR1 migliora il ragionamento visivo, mitiga le allucinazioni visive e riduce la dipendenza dalle scorciatoie linguistiche in una varietà di compiti visione-linguaggio.

English

Vision-Language Models (VLMs) often suffer from visual hallucinations, saying things that are not actually in the image, and language shortcuts, where they skip the visual part and just rely on text priors. These issues arise because most post-training methods for VLMs rely on simple verifiable answer matching and supervise only final outputs, leaving intermediate visual reasoning without explicit guidance. As a result, VLMs receive sparse visual signals and often learn to prioritize language-based reasoning over visual perception. To mitigate this, some existing methods add visual supervision using human annotations or distilled labels from external large models. However, human annotations are labor-intensive and costly, and because external signals cannot adapt to the evolving policy, they cause distributional shifts that can lead to reward hacking. In this paper, we introduce Vision-SR1, a self-rewarding method that improves visual reasoning without relying on external visual supervisions via reinforcement learning. Vision-SR1 decomposes VLM reasoning into two stages: visual perception and language reasoning. The model is first prompted to produce self-contained visual perceptions that are sufficient to answer the question without referring back the input image. To validate this self-containment, the same VLM model is then re-prompted to perform language reasoning using only the generated perception as input to compute reward. This self-reward is combined with supervision on final outputs, providing a balanced training signal that strengthens both visual perception and language reasoning. Our experiments demonstrate that Vision-SR1 improves visual reasoning, mitigates visual hallucinations, and reduces reliance on language shortcuts across diverse vision-language tasks.