NoLan: Minderung von Objekthalluzinationen in großen visuell-sprachlichen Modellen durch dynamische Unterdrückung sprachlicher A-priori-Informationen
NoLan: Mitigating Object Hallucinations in Large Vision-Language Models via Dynamic Suppression of Language Priors
February 25, 2026
papers.authors: Lingfeng Ren, Weihao Yu, Runpeng Yu, Xinchao Wang
cs.AI
papers.abstract
Objekt-Halluzinationen sind ein kritisches Problem bei großen visuell-sprachlichen Modellen (LVLMs), bei denen Ausgaben Objekte enthalten, die nicht im Eingabebild vorkommen. Aus diesem Phänomen ergibt sich eine naheliegende Frage: Welche Komponente der LVLM-Pipeline trägt hauptsächlich zu Objekt-Halluzinationen bei? Der Vision-Encoder zur Wahrnehmung visueller Informationen oder der Language-Decoder zur Generierung von Textantworten? In dieser Arbeit streben wir an, diese Frage durch die Entwicklung eines systematischen Experiments zu beantworten, um die Rollen des Vision-Encoders und des Language-Decoders bei der Erzeugung von Halluzinationen zu analysieren. Unsere Beobachtungen zeigen, dass Objekt-Halluzinationen überwiegend mit den starken A-priori-Annahmen des Language-Decoders zusammenhängen. Auf Basis dieser Erkenntnis schlagen wir ein einfaches, trainingsfreies Framework vor: No-Language-Hallucination Decoding (NoLan). Dieses verfeinert die Ausgabeverteilung durch dynamische Unterdrückung sprachlicher A-priori-Annahmen, moduliert auf Basis des Unterschieds in der Ausgabeverteilung zwischen multimodalen und rein textbasierten Eingaben. Experimentelle Ergebnisse demonstrieren, dass NoLan Objekt-Halluzinationen effektiv bei verschiedenen LVLMs in unterschiedlichen Aufgaben reduziert. Beispielsweise erzielt NoLan auf POPE erhebliche Verbesserungen und steigert die Genauigkeit von LLaVA-1.5 7B und Qwen-VL 7B um bis zu 6,45 bzw. 7,21 Punkte. Der Code ist öffentlich verfügbar unter: https://github.com/lingfengren/NoLan.
English
Object hallucination is a critical issue in Large Vision-Language Models (LVLMs), where outputs include objects that do not appear in the input image. A natural question arises from this phenomenon: Which component of the LVLM pipeline primarily contributes to object hallucinations? The vision encoder to perceive visual information, or the language decoder to generate text responses? In this work, we strive to answer this question through designing a systematic experiment to analyze the roles of the vision encoder and the language decoder in hallucination generation. Our observations reveal that object hallucinations are predominantly associated with the strong priors from the language decoder. Based on this finding, we propose a simple and training-free framework, No-Language-Hallucination Decoding, NoLan, which refines the output distribution by dynamically suppressing language priors, modulated based on the output distribution difference between multimodal and text-only inputs. Experimental results demonstrate that NoLan effectively reduces object hallucinations across various LVLMs on different tasks. For instance, NoLan achieves substantial improvements on POPE, enhancing the accuracy of LLaVA-1.5 7B and Qwen-VL 7B by up to 6.45 and 7.21, respectively. The code is publicly available at: https://github.com/lingfengren/NoLan.