Verso la Mitigazione delle Allucinazioni nei Grandi Modelli Visione-Linguaggio mediante il Raffinamento degli Incorporamenti Testuali
Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings
November 7, 2025
Autori: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Vijay Kamarshi, Andrea Fanelli, Furong Huang
cs.AI
Abstract
In questo lavoro, identifichiamo un bias intrinseco nelle architetture LVLM prevalenti a favore della modalità linguistica, derivante in larga misura dalla pratica comune di aggiungere semplicemente gli embedding visivi alla sequenza testuale di input. Per affrontare questo problema, proponiamo un metodo semplice ma efficace che affina gli embedding testuali integrando caratteristiche visive mediate da average pooling. Il nostro approccio migliora dimostrabilmente il grounding visivo e riduce significativamente le allucinazioni sui benchmark consolidati. Sebbene l'average pooling offra un mezzo semplice, robusto ed efficiente per incorporare informazioni visive, riteniamo che metodi di fusione più sofisticati possano ulteriormente migliorare il grounding visivo e l'allineamento cross-modale. Considerando che l'obiettivo principale di questo lavoro è evidenziare lo squilibrio tra le modalità e il suo impatto sulle allucinazioni – e dimostrare che affinare gli embedding testuali con informazioni visive mitiga questo problema – lasciamo l'esplorazione di strategie di fusione avanzate a lavori futuri.
English
In this work, we identify an inherent bias in prevailing LVLM architectures
toward the language modality, largely resulting from the common practice of
simply appending visual embeddings to the input text sequence. To address this,
we propose a simple yet effective method that refines textual embeddings by
integrating average-pooled visual features. Our approach demonstrably improves
visual grounding and significantly reduces hallucinations on established
benchmarks. While average pooling offers a straightforward, robust, and
efficient means of incorporating visual information, we believe that more
sophisticated fusion methods could further enhance visual grounding and
cross-modal alignment. Given that the primary focus of this work is to
highlight the modality imbalance and its impact on hallucinations -- and to
show that refining textual embeddings with visual information mitigates this
issue -- we leave exploration of advanced fusion strategies for future work.