Correzione dell'attenzione sbilanciata per mitigare l'allucinazione in contesto dei grandi modelli di visione e linguaggio.

Fixing Imbalanced Attention to Mitigate In-Context Hallucination of Large Vision-Language Model

January 21, 2025

Autori: Kazi Hasan Ibn Arif, Sajib Acharjee Dip, Khizar Hussain, Lang Zhang, Chris Thomas

cs.AI

Abstract

I Large Vision Language Models (LVLM) hanno dimostrato notevoli capacità nell'interpretare e descrivere contenuti visivi, raggiungendo prestazioni all'avanguardia in vari compiti visione-linguaggio. Tuttavia, questi modelli mostrano frequentemente comportamenti di allucinazione, generando descrizioni contenenti oggetti o dettagli assenti nell'immagine di input. Il nostro lavoro indaga questo fenomeno analizzando i pattern di attenzione attraverso i livelli e le teste del transformer, rivelando che le allucinazioni derivano spesso dal progressivo deterioramento dell'ancoraggio visivo nei livelli più profondi. Proponiamo un nuovo approccio di modifica dell'attenzione che combina enfasi selettiva sui token e modulazione specifica delle teste per mantenere l'ancoraggio visivo durante l'intero processo di generazione. Il nostro metodo introduce due componenti chiave: (1) un meccanismo di selezione dei token a doppio flusso che identifica e priorita sia i token visuali informativi localmente che significativi spazialmente, e (2) una strategia di modulazione specifica delle teste di attenzione che amplifica differenzialmente l'elaborazione delle informazioni visive in base alla sensibilità visiva misurata delle singole teste di attenzione. Attraverso un'ampia sperimentazione sul dataset MSCOCO, dimostriamo che il nostro approccio riduce i tassi di allucinazione fino al 62,3\% rispetto ai modelli di base mantenendo prestazioni comprese. La nostra analisi rivela che modulare selettivamente i token attraverso le teste di attenzione con diversi livelli di sensibilità visiva può migliorare significativamente l'ancoraggio visivo senza richiedere il ritraining del modello.

English

Large Vision Language Models (LVLMs) have demonstrated remarkable capabilities in understanding and describing visual content, achieving state-of-the-art performance across various vision-language tasks. However, these models frequently exhibit hallucination behavior, where they generate descriptions containing objects or details absent in the input image. Our work investigates this phenomenon by analyzing attention patterns across transformer layers and heads, revealing that hallucinations often stem from progressive degradation of visual grounding in deeper layers. We propose a novel attention modification approach that combines selective token emphasis and head-specific modulation to maintain visual grounding throughout the generation process. Our method introduces two key components: (1) a dual-stream token selection mechanism that identifies and prioritizes both locally informative and spatially significant visual tokens, and (2) an attention head-specific modulation strategy that differentially amplifies visual information processing based on measured visual sensitivity of individual attention heads. Through extensive experimentation on the MSCOCO dataset, we demonstrate that our approach reduces hallucination rates by up to 62.3\% compared to baseline models while maintaining comparable task performance. Our analysis reveals that selectively modulating tokens across attention heads with varying levels of visual sensitivity can significantly improve visual grounding without requiring model retraining.