Corrección del desequilibrio de atención para mitigar la alucinación en contexto de un gran modelo de visión y lenguaje.

Fixing Imbalanced Attention to Mitigate In-Context Hallucination of Large Vision-Language Model

January 21, 2025

Autores: Kazi Hasan Ibn Arif, Sajib Acharjee Dip, Khizar Hussain, Lang Zhang, Chris Thomas

cs.AI

Resumen

Los Modelos de Lenguaje con Visión Amplia (LVLMs) han demostrado capacidades notables en comprender y describir contenido visual, logrando un rendimiento de vanguardia en diversas tareas de visión y lenguaje. Sin embargo, estos modelos a menudo muestran un comportamiento de alucinación, generando descripciones que contienen objetos o detalles ausentes en la imagen de entrada. Nuestro trabajo investiga este fenómeno mediante el análisis de patrones de atención en las capas y cabezas del transformador, revelando que las alucinaciones a menudo se originan a partir de la degradación progresiva del anclaje visual en capas más profundas. Proponemos un enfoque novedoso de modificación de atención que combina énfasis selectivo en tokens y modulación específica de cabezas para mantener el anclaje visual a lo largo del proceso de generación. Nuestro método introduce dos componentes clave: (1) un mecanismo de selección de tokens de doble flujo que identifica y prioriza tokens visuales informativos localmente y significativos espacialmente, y (2) una estrategia de modulación específica de cabeza de atención que amplifica diferencialmente el procesamiento de información visual según la sensibilidad visual medida de las cabezas de atención individuales. A través de experimentación extensiva en el conjunto de datos MSCOCO, demostramos que nuestro enfoque reduce las tasas de alucinación hasta en un 62.3\% en comparación con los modelos base, manteniendo un rendimiento de tarea comparable. Nuestro análisis revela que modular selectivamente tokens a través de cabezas de atención con diferentes niveles de sensibilidad visual puede mejorar significativamente el anclaje visual sin necesidad de volver a entrenar el modelo.

English

Large Vision Language Models (LVLMs) have demonstrated remarkable capabilities in understanding and describing visual content, achieving state-of-the-art performance across various vision-language tasks. However, these models frequently exhibit hallucination behavior, where they generate descriptions containing objects or details absent in the input image. Our work investigates this phenomenon by analyzing attention patterns across transformer layers and heads, revealing that hallucinations often stem from progressive degradation of visual grounding in deeper layers. We propose a novel attention modification approach that combines selective token emphasis and head-specific modulation to maintain visual grounding throughout the generation process. Our method introduces two key components: (1) a dual-stream token selection mechanism that identifies and prioritizes both locally informative and spatially significant visual tokens, and (2) an attention head-specific modulation strategy that differentially amplifies visual information processing based on measured visual sensitivity of individual attention heads. Through extensive experimentation on the MSCOCO dataset, we demonstrate that our approach reduces hallucination rates by up to 62.3\% compared to baseline models while maintaining comparable task performance. Our analysis reveals that selectively modulating tokens across attention heads with varying levels of visual sensitivity can significantly improve visual grounding without requiring model retraining.