Corrigindo Atenção Desbalanceada para Mitigar a Alucinação em Contexto de Modelos de Visão-Linguagem de Grande Escala

Fixing Imbalanced Attention to Mitigate In-Context Hallucination of Large Vision-Language Model

January 21, 2025

Autores: Kazi Hasan Ibn Arif, Sajib Acharjee Dip, Khizar Hussain, Lang Zhang, Chris Thomas

cs.AI

Resumo

Os Modelos de Linguagem de Visão em Grande Escala (LVLMs) demonstraram capacidades notáveis na compreensão e descrição de conteúdo visual, alcançando desempenho de ponta em várias tarefas de visão e linguagem. No entanto, esses modelos frequentemente exibem comportamento de alucinação, gerando descrições com objetos ou detalhes ausentes na imagem de entrada. Nosso trabalho investiga esse fenômeno analisando padrões de atenção em camadas e cabeças de transformadores, revelando que as alucinações frequentemente derivam da degradação progressiva do enraizamento visual em camadas mais profundas. Propomos uma abordagem de modificação de atenção inovadora que combina ênfase seletiva de tokens e modulação específica de cabeças para manter o enraizamento visual ao longo do processo de geração. Nosso método introduz dois componentes principais: (1) um mecanismo de seleção de token de duplo fluxo que identifica e prioriza tokens visuais localmente informativos e espacialmente significativos, e (2) uma estratégia de modulação específica de cabeça de atenção que amplifica diferencialmente o processamento de informações visuais com base na sensibilidade visual medida das cabeças de atenção individuais. Através de experimentação extensiva no conjunto de dados MSCOCO, demonstramos que nossa abordagem reduz as taxas de alucinação em até 62,3\% em comparação com modelos de referência, mantendo um desempenho de tarefa comparável. Nossa análise revela que modular seletivamente tokens em cabeças de atenção com níveis variados de sensibilidade visual pode melhorar significativamente o enraizamento visual sem exigir o retrabalho do modelo.

English

Large Vision Language Models (LVLMs) have demonstrated remarkable capabilities in understanding and describing visual content, achieving state-of-the-art performance across various vision-language tasks. However, these models frequently exhibit hallucination behavior, where they generate descriptions containing objects or details absent in the input image. Our work investigates this phenomenon by analyzing attention patterns across transformer layers and heads, revealing that hallucinations often stem from progressive degradation of visual grounding in deeper layers. We propose a novel attention modification approach that combines selective token emphasis and head-specific modulation to maintain visual grounding throughout the generation process. Our method introduces two key components: (1) a dual-stream token selection mechanism that identifies and prioritizes both locally informative and spatially significant visual tokens, and (2) an attention head-specific modulation strategy that differentially amplifies visual information processing based on measured visual sensitivity of individual attention heads. Through extensive experimentation on the MSCOCO dataset, we demonstrate that our approach reduces hallucination rates by up to 62.3\% compared to baseline models while maintaining comparable task performance. Our analysis reveals that selectively modulating tokens across attention heads with varying levels of visual sensitivity can significantly improve visual grounding without requiring model retraining.