Hacia la Mitigación de Alucinaciones en Modelos Grandes de Visión y Lenguaje mediante el Refinamiento de Incrustaciones Textuales

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

November 7, 2025

Autores: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Vijay Kamarshi, Andrea Fanelli, Furong Huang

cs.AI

Resumen

En este trabajo, identificamos un sesgo inherente en las arquitecturas predominantes de LVLM hacia la modalidad lingüística, resultado en gran medida de la práctica común de simplemente anexar incrustaciones visuales a la secuencia de texto de entrada. Para abordar este problema, proponemos un método simple pero efectivo que refina las incrustaciones textuales mediante la integración de características visuales promediadas por _pooling_. Nuestro enfoque mejora notablemente la fundamentación visual y reduce significativamente las alucinaciones en benchmarks establecidos. Si bien el _average pooling_ ofrece un medio directo, robusto y eficiente de incorporar información visual, consideramos que métodos de fusión más sofisticados podrían mejorar aún más la fundamentación visual y la alineación multimodal. Dado que el enfoque principal de este trabajo es destacar el desequilibrio de modalidades y su impacto en las alucinaciones —y demostrar que refinar las incrustaciones textuales con información visual mitiga este problema—, dejamos la exploración de estrategias de fusión avanzadas para trabajos futuros.

English

In this work, we identify an inherent bias in prevailing LVLM architectures toward the language modality, largely resulting from the common practice of simply appending visual embeddings to the input text sequence. To address this, we propose a simple yet effective method that refines textual embeddings by integrating average-pooled visual features. Our approach demonstrably improves visual grounding and significantly reduces hallucinations on established benchmarks. While average pooling offers a straightforward, robust, and efficient means of incorporating visual information, we believe that more sophisticated fusion methods could further enhance visual grounding and cross-modal alignment. Given that the primary focus of this work is to highlight the modality imbalance and its impact on hallucinations -- and to show that refining textual embeddings with visual information mitigates this issue -- we leave exploration of advanced fusion strategies for future work.