Genereer, maar Verifieer: Het Verminderen van Hallucinaties in Visueel-Taalmodellen met Retrospectieve Herbemonstering

Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling

April 17, 2025

Auteurs: Tsung-Han Wu, Heekyung Lee, Jiaxin Ge, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Samenvatting

Vision-Language Models (VLMs) blinken uit in visueel begrip, maar hebben vaak last van visuele hallucinaties, waarbij ze beschrijvingen genereren van niet-bestaande objecten, acties of concepten, wat aanzienlijke risico's met zich meebrengt in veiligheidskritieke toepassingen. Bestaande methoden om hallucinaties te verminderen volgen doorgaans een van twee paradigma's: generatie-aanpassing, waarbij het decodeergedrag wordt aangepast om tekst af te stemmen op visuele invoer, en post-hoc verificatie, waarbij externe modellen de uitvoer beoordelen en corrigeren. Hoewel effectief, baseren generatie-aanpassingsmethoden zich vaak op heuristieken en missen ze correctiemechanismen, terwijl post-hoc verificatie ingewikkeld is, meestal meerdere modellen vereist en eerder geneigd is om uitvoer te verwerpen dan te verfijnen. In dit werk introduceren we REVERSE, een uniform raamwerk dat hallucinatiebewuste training integreert met real-time zelfverificatie. Door gebruik te maken van een nieuwe hallucinatie-verificatiedataset met meer dan 1,3 miljoen semi-synthetische samples, samen met een nieuwe retrospectieve resamplingtechniek tijdens inferentie, stelt onze aanpak VLMs in staat om zowel hallucinaties te detecteren tijdens de generatie als deze hallucinaties dynamisch te herzien. Onze evaluaties tonen aan dat REVERSE state-of-the-art reductie van hallucinaties bereikt, waarbij het de beste bestaande methoden tot 12% overtreft op CHAIR-MSCOCO en 28% op HaloQuest. Onze dataset, model en code zijn beschikbaar op: https://reverse-vlm.github.io.

English

Vision-Language Models (VLMs) excel at visual understanding but often suffer from visual hallucinations, where they generate descriptions of nonexistent objects, actions, or concepts, posing significant risks in safety-critical applications. Existing hallucination mitigation methods typically follow one of two paradigms: generation adjustment, which modifies decoding behavior to align text with visual inputs, and post-hoc verification, where external models assess and correct outputs. While effective, generation adjustment methods often rely on heuristics and lack correction mechanisms, while post-hoc verification is complicated, typically requiring multiple models and tending to reject outputs rather than refine them. In this work, we introduce REVERSE, a unified framework that integrates hallucination-aware training with on-the-fly self-verification. By leveraging a new hallucination-verification dataset containing over 1.3M semi-synthetic samples, along with a novel inference-time retrospective resampling technique, our approach enables VLMs to both detect hallucinations during generation and dynamically revise those hallucinations. Our evaluations show that REVERSE achieves state-of-the-art hallucination reduction, outperforming the best existing methods by up to 12% on CHAIR-MSCOCO and 28% on HaloQuest. Our dataset, model, and code are available at: https://reverse-vlm.github.io.