Naar het verminderen van hallucinaties in grote visueel-taalmodellemiddels verfijning van tekstuele inbeddingen
Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings
November 7, 2025
Auteurs: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Vijay Kamarshi, Andrea Fanelli, Furong Huang
cs.AI
Samenvatting
In dit werk identificeren we een inherente bias in gangbare LVLM-architecturen ten gunste van de taalmodaliteit, die grotendeels het gevolg is van de gebruikelijke praktijk om visuele embeddings eenvoudigweg aan de invoertekstsequentie toe te voegen. Om dit aan te pakken, stellen we een eenvoudige maar effectieve methode voor die tekstuele embeddings verfijnt door gemiddeld-gepoolde visuele kenmerken te integreren. Onze aanpak verbetert aantoonbaar de visuele verankering en vermindert hallucinaties aanzienlijk op gevestigde benchmarks. Hoewel average pooling een rechttoe-rechtaan, robuust en efficiënt middel biedt om visuele informatie op te nemen, zijn wij van mening dat meer geavanceerde fusiemethoden de visuele verankering en cross-modale uitlijning verder kunnen verbeteren. Aangezien de primaire focus van dit werk ligt op het belichten van de modaliteitsonevenwichtigheid en de impact daarvan op hallucinaties – en om aan te tonen dat het verfijnen van tekstuele embeddings met visuele informatie dit probleem vermindert – laten we de verkenning van geavanceerde fusiestrategieën over aan toekomstig werk.
English
In this work, we identify an inherent bias in prevailing LVLM architectures
toward the language modality, largely resulting from the common practice of
simply appending visual embeddings to the input text sequence. To address this,
we propose a simple yet effective method that refines textual embeddings by
integrating average-pooled visual features. Our approach demonstrably improves
visual grounding and significantly reduces hallucinations on established
benchmarks. While average pooling offers a straightforward, robust, and
efficient means of incorporating visual information, we believe that more
sophisticated fusion methods could further enhance visual grounding and
cross-modal alignment. Given that the primary focus of this work is to
highlight the modality imbalance and its impact on hallucinations -- and to
show that refining textual embeddings with visual information mitigates this
issue -- we leave exploration of advanced fusion strategies for future work.