Zur Minderung von Halluzinationen in großen visuell-sprachlichen Modellen durch Verfeinerung textueller Einbettungen

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

November 7, 2025

papers.authors: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Vijay Kamarshi, Andrea Fanelli, Furong Huang

cs.AI

papers.abstract

In dieser Arbeit identifizieren wir eine inhärente Verzerrung in vorherrschenden LVLM-Architekturen zugunsten der Sprachmodalität, die weitgehend aus der gängigen Praxis resultiert, visuelle Einbettungen einfach an die Eingabetextsequenz anzuhängen. Um dies zu adressieren, schlagen wir eine einfache, aber effektive Methode vor, die textuelle Einbettungen verfeinert, indem sie gemittelte visuelle Merkmale integriert. Unser Ansatz verbessert nachweislich die visuelle Verankerung und reduziert Halluzinationen auf etablierten Benchmarks signifikant. Während das Durchschnittspooling einen einfachen, robusten und effizienten Weg zur Einbeziehung visueller Informationen bietet, gehen wir davon aus, dass anspruchsvollere Fusionsmethoden die visuelle Verankerung und cross-modale Ausrichtung weiter verbessern könnten. Da der Schwerpunkt dieser Arbeit darin liegt, das Modell-Ungleichgewicht und seine Auswirkungen auf Halluzinationen aufzuzeigen – und zu demonstrieren, dass die Verfeinerung textueller Einbettungen mit visuellen Informationen dieses Problem mildert – belassen wir die Erforschung fortgeschrittener Fusionsstrategien für zukünftige Arbeiten.

English

In this work, we identify an inherent bias in prevailing LVLM architectures toward the language modality, largely resulting from the common practice of simply appending visual embeddings to the input text sequence. To address this, we propose a simple yet effective method that refines textual embeddings by integrating average-pooled visual features. Our approach demonstrably improves visual grounding and significantly reduces hallucinations on established benchmarks. While average pooling offers a straightforward, robust, and efficient means of incorporating visual information, we believe that more sophisticated fusion methods could further enhance visual grounding and cross-modal alignment. Given that the primary focus of this work is to highlight the modality imbalance and its impact on hallucinations -- and to show that refining textual embeddings with visual information mitigates this issue -- we leave exploration of advanced fusion strategies for future work.