Genera, ma Verifica: Ridurre le Allucinazioni nei Modelli Visione-Linguaggio con Ricampionamento Retrospettivo

Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling

April 17, 2025

Autori: Tsung-Han Wu, Heekyung Lee, Jiaxin Ge, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) eccellono nella comprensione visiva, ma spesso soffrono di allucinazioni visive, generando descrizioni di oggetti, azioni o concetti inesistenti, rappresentando un rischio significativo in applicazioni critiche per la sicurezza. I metodi esistenti per mitigare le allucinazioni seguono tipicamente uno dei due paradigmi: l'aggiustamento della generazione, che modifica il comportamento di decodifica per allineare il testo agli input visivi, e la verifica post-hoc, in cui modelli esterni valutano e correggono gli output. Sebbene efficaci, i metodi di aggiustamento della generazione spesso si basano su euristiche e mancano di meccanismi di correzione, mentre la verifica post-hoc è complessa, richiedendo tipicamente più modelli e tendendo a rifiutare gli output piuttosto che affinarli. In questo lavoro, introduciamo REVERSE, un framework unificato che integra l'addestramento consapevole delle allucinazioni con l'autoverifica in tempo reale. Sfruttando un nuovo dataset di verifica delle allucinazioni contenente oltre 1,3 milioni di campioni semi-sintetici, insieme a una tecnica innovativa di ricampionamento retrospettivo durante l'inferenza, il nostro approccio consente ai VLMs di rilevare le allucinazioni durante la generazione e di rivederle dinamicamente. Le nostre valutazioni mostrano che REVERSE raggiunge una riduzione delle allucinazioni all'avanguardia, superando i migliori metodi esistenti fino al 12% su CHAIR-MSCOCO e al 28% su HaloQuest. Il nostro dataset, modello e codice sono disponibili al seguente indirizzo: https://reverse-vlm.github.io.

English

Vision-Language Models (VLMs) excel at visual understanding but often suffer from visual hallucinations, where they generate descriptions of nonexistent objects, actions, or concepts, posing significant risks in safety-critical applications. Existing hallucination mitigation methods typically follow one of two paradigms: generation adjustment, which modifies decoding behavior to align text with visual inputs, and post-hoc verification, where external models assess and correct outputs. While effective, generation adjustment methods often rely on heuristics and lack correction mechanisms, while post-hoc verification is complicated, typically requiring multiple models and tending to reject outputs rather than refine them. In this work, we introduce REVERSE, a unified framework that integrates hallucination-aware training with on-the-fly self-verification. By leveraging a new hallucination-verification dataset containing over 1.3M semi-synthetic samples, along with a novel inference-time retrospective resampling technique, our approach enables VLMs to both detect hallucinations during generation and dynamically revise those hallucinations. Our evaluations show that REVERSE achieves state-of-the-art hallucination reduction, outperforming the best existing methods by up to 12% on CHAIR-MSCOCO and 28% on HaloQuest. Our dataset, model, and code are available at: https://reverse-vlm.github.io.