Rumo à Mitigação de Alucinações em Grandes Modelos de Visão e Linguagem através do Refinamento de Incorporações Textuais
Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings
November 7, 2025
Autores: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Vijay Kamarshi, Andrea Fanelli, Furong Huang
cs.AI
Resumo
Neste trabalho, identificamos um viés inerente nas arquiteturas predominantes de LVLM em relação à modalidade linguística, resultante em grande parte da prática comum de simplesmente anexar embeddings visuais à sequência de texto de entrada. Para resolver essa questão, propomos um método simples, porém eficaz, que refina os embeddings textuais por meio da integração de características visuais com pooling médio. Nossa abordagem demonstra melhoria na fundamentação visual e redução significativa de alucinações em benchmarks estabelecidos. Embora o pooling médio ofereça um meio direto, robusto e eficiente de incorporar informações visuais, acreditamos que métodos de fusão mais sofisticados poderiam aprimorar ainda mais a fundamentação visual e o alinhamento multimodal. Dado que o foco principal deste trabalho é destacar o desequilíbrio entre modalidades e seu impacto nas alucinações — e demonstrar que o refinamento de embeddings textuais com informações visuais mitiga esse problema — deixamos a exploração de estratégias avançadas de fusão para trabalhos futuros.
English
In this work, we identify an inherent bias in prevailing LVLM architectures
toward the language modality, largely resulting from the common practice of
simply appending visual embeddings to the input text sequence. To address this,
we propose a simple yet effective method that refines textual embeddings by
integrating average-pooled visual features. Our approach demonstrably improves
visual grounding and significantly reduces hallucinations on established
benchmarks. While average pooling offers a straightforward, robust, and
efficient means of incorporating visual information, we believe that more
sophisticated fusion methods could further enhance visual grounding and
cross-modal alignment. Given that the primary focus of this work is to
highlight the modality imbalance and its impact on hallucinations -- and to
show that refining textual embeddings with visual information mitigates this
issue -- we leave exploration of advanced fusion strategies for future work.