Generieren, aber Verifizieren: Reduzierung von Halluzinationen in Vision-Sprach-Modellen durch retrospektives Resampling

Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling

April 17, 2025

Autoren: Tsung-Han Wu, Heekyung Lee, Jiaxin Ge, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Zusammenfassung

Vision-Language Models (VLMs) zeichnen sich durch visuelles Verständnis aus, leiden jedoch häufig unter visuellen Halluzinationen, bei denen sie Beschreibungen von nicht existierenden Objekten, Handlungen oder Konzepten generieren. Dies stellt erhebliche Risiken in sicherheitskritischen Anwendungen dar. Bestehende Methoden zur Minderung von Halluzinationen folgen typischerweise einem von zwei Paradigmen: Generierungsanpassung, bei der das Decodierungsverhalten modifiziert wird, um den Text mit den visuellen Eingaben abzugleichen, und nachträgliche Verifizierung, bei der externe Modelle die Ausgaben bewerten und korrigieren. Obwohl effektiv, stützen sich Generierungsanpassungsmethoden oft auf Heuristiken und verfügen über keine Korrekturmechanismen, während die nachträgliche Verifizierung kompliziert ist, typischerweise mehrere Modelle erfordert und dazu neigt, Ausgaben abzulehnen, anstatt sie zu verfeinern. In dieser Arbeit stellen wir REVERSE vor, ein einheitliches Framework, das halluzinationsbewusstes Training mit einer Echtzeit-Selbstverifizierung integriert. Durch die Nutzung eines neuen Halluzinations-Verifizierungs-Datensatzes mit über 1,3 Millionen halbsynthetischen Proben sowie einer neuartigen retrospektiven Resampling-Technik zur Inferenzzeit ermöglicht unser Ansatz VLMs, Halluzinationen während der Generierung zu erkennen und diese dynamisch zu überarbeiten. Unsere Auswertungen zeigen, dass REVERSE eine state-of-the-art Reduzierung von Halluzinationen erreicht und die besten bestehenden Methoden um bis zu 12 % auf CHAIR-MSCOCO und 28 % auf HaloQuest übertrifft. Unser Datensatz, Modell und Code sind verfügbar unter: https://reverse-vlm.github.io.

English

Vision-Language Models (VLMs) excel at visual understanding but often suffer from visual hallucinations, where they generate descriptions of nonexistent objects, actions, or concepts, posing significant risks in safety-critical applications. Existing hallucination mitigation methods typically follow one of two paradigms: generation adjustment, which modifies decoding behavior to align text with visual inputs, and post-hoc verification, where external models assess and correct outputs. While effective, generation adjustment methods often rely on heuristics and lack correction mechanisms, while post-hoc verification is complicated, typically requiring multiple models and tending to reject outputs rather than refine them. In this work, we introduce REVERSE, a unified framework that integrates hallucination-aware training with on-the-fly self-verification. By leveraging a new hallucination-verification dataset containing over 1.3M semi-synthetic samples, along with a novel inference-time retrospective resampling technique, our approach enables VLMs to both detect hallucinations during generation and dynamically revise those hallucinations. Our evaluations show that REVERSE achieves state-of-the-art hallucination reduction, outperforming the best existing methods by up to 12% on CHAIR-MSCOCO and 28% on HaloQuest. Our dataset, model, and code are available at: https://reverse-vlm.github.io.