Gerar, mas Verificar: Reduzindo Alucinações em Modelos Visão-Linguagem com Reamostragem Retrospectiva

Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling

April 17, 2025

Autores: Tsung-Han Wu, Heekyung Lee, Jiaxin Ge, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Resumo

Modelos Visão-Linguagem (VLMs) se destacam na compreensão visual, mas frequentemente sofrem com alucinações visuais, onde geram descrições de objetos, ações ou conceitos inexistentes, representando riscos significativos em aplicações críticas para a segurança. Os métodos existentes de mitigação de alucinações geralmente seguem um de dois paradigmas: ajuste de geração, que modifica o comportamento de decodificação para alinhar o texto com as entradas visuais, e verificação pós-fato, onde modelos externos avaliam e corrigem as saídas. Embora eficazes, os métodos de ajuste de geração frequentemente dependem de heurísticas e carecem de mecanismos de correção, enquanto a verificação pós-fato é complicada, geralmente exigindo múltiplos modelos e tendendo a rejeitar as saídas em vez de refiná-las. Neste trabalho, apresentamos REVERSE, uma estrutura unificada que integra treinamento consciente de alucinações com autoverificação em tempo real. Ao aproveitar um novo conjunto de dados de verificação de alucinações contendo mais de 1,3 milhão de amostras semissintéticas, juntamente com uma nova técnica de reamostragem retrospectiva em tempo de inferência, nossa abordagem permite que os VLMs detectem alucinações durante a geração e revisem dinamicamente essas alucinações. Nossas avaliações mostram que o REVERSE alcança a redução de alucinações de última geração, superando os melhores métodos existentes em até 12% no CHAIR-MSCOCO e 28% no HaloQuest. Nosso conjunto de dados, modelo e código estão disponíveis em: https://reverse-vlm.github.io.

English

Vision-Language Models (VLMs) excel at visual understanding but often suffer from visual hallucinations, where they generate descriptions of nonexistent objects, actions, or concepts, posing significant risks in safety-critical applications. Existing hallucination mitigation methods typically follow one of two paradigms: generation adjustment, which modifies decoding behavior to align text with visual inputs, and post-hoc verification, where external models assess and correct outputs. While effective, generation adjustment methods often rely on heuristics and lack correction mechanisms, while post-hoc verification is complicated, typically requiring multiple models and tending to reject outputs rather than refine them. In this work, we introduce REVERSE, a unified framework that integrates hallucination-aware training with on-the-fly self-verification. By leveraging a new hallucination-verification dataset containing over 1.3M semi-synthetic samples, along with a novel inference-time retrospective resampling technique, our approach enables VLMs to both detect hallucinations during generation and dynamically revise those hallucinations. Our evaluations show that REVERSE achieves state-of-the-art hallucination reduction, outperforming the best existing methods by up to 12% on CHAIR-MSCOCO and 28% on HaloQuest. Our dataset, model, and code are available at: https://reverse-vlm.github.io.