Vers l'atténuation des hallucinations dans les grands modèles vision-langage par l'affinage des embeddings textuels

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

November 7, 2025

papers.authors: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Vijay Kamarshi, Andrea Fanelli, Furong Huang

cs.AI

papers.abstract

Dans cette étude, nous identifions un biais inhérent aux architectures de LVLM dominantes en faveur de la modalité linguistique, résultant largement de la pratique courante qui consiste à simplement ajouter les embeddings visuels à la séquence textuelle d'entrée. Pour y remédier, nous proposons une méthode simple mais efficace qui affine les embeddings textuels en intégrant des caractéristiques visuelles moyennées par pooling. Notre approche améliore nettement l'ancrage visuel et réduit significativement les hallucinations sur des benchmarks établis. Bien que le pooling moyen offre un moyen simple, robuste et efficace d'intégrer l'information visuelle, nous estimons que des méthodes de fusion plus sophistiquées pourraient encore améliorer l'ancrage visuel et l'alignement intermodal. Étant donné que l'objectif principal de ce travail est de mettre en lumière le déséquilibre modal et son impact sur les hallucinations – et de montrer que l'affinement des embeddings textuels avec des informations visuelles atténue ce problème – nous laissons l'exploration de stratégies de fusion avancées à de futurs travaux.

English

In this work, we identify an inherent bias in prevailing LVLM architectures toward the language modality, largely resulting from the common practice of simply appending visual embeddings to the input text sequence. To address this, we propose a simple yet effective method that refines textual embeddings by integrating average-pooled visual features. Our approach demonstrably improves visual grounding and significantly reduces hallucinations on established benchmarks. While average pooling offers a straightforward, robust, and efficient means of incorporating visual information, we believe that more sophisticated fusion methods could further enhance visual grounding and cross-modal alignment. Given that the primary focus of this work is to highlight the modality imbalance and its impact on hallucinations -- and to show that refining textual embeddings with visual information mitigates this issue -- we leave exploration of advanced fusion strategies for future work.