NoLan: Het verminderen van objecthallucinaties in grote visueel-taalmiddelen door dynamische onderdrukking van taalpriors
NoLan: Mitigating Object Hallucinations in Large Vision-Language Models via Dynamic Suppression of Language Priors
February 25, 2026
Auteurs: Lingfeng Ren, Weihao Yu, Runpeng Yu, Xinchao Wang
cs.AI
Samenvatting
Object hallucinatie is een kritiek probleem in grote visueel-taalmodelen (LVLM's), waarbij uitvoeren objecten bevatten die niet in de invoerafbeelding voorkomen. Uit dit fenomeen rijst een natuurlijke vraag: Welke component van de LVLM-pijplijn draagt primair bij aan object hallucinaties? De visuele encoder voor het waarnemen van visuele informatie, of de taaldecoder voor het genereren van tekstuele antwoorden? In dit werk streven we ernaar deze vraag te beantwoorden door een systematisch experiment op te zetten om de rollen van de visuele encoder en de taaldecoder bij het genereren van hallucinaties te analyseren. Onze observaties tonen aan dat object hallucinaties voornamelijk verband houden met de sterke prioria van de taaldecoder. Gebaseerd op deze bevinding stellen we een eenvoudig en trainingsvrij raamwerk voor, No-Language-Hallucination Decoding (NoLan), dat de uitvoerdistributie verfijnt door taalprioria dynamisch te onderdrukken, gemoduleerd op basis van het verschil in uitvoerdistributie tussen multimodale en alleen-tekst invoeren. Experimentele resultaten tonen aan dat NoLan object hallucinaties effectief reduceert in diverse LVLM's bij verschillende taken. Zo behaalt NoLan aanzienlijke verbeteringen op POPE, waarbij de nauwkeurigheid van LLaVA-1.5 7B en Qwen-VL 7B respectievelijk met maximaal 6,45 en 7,21 wordt verhoogd. De code is openbaar beschikbaar op: https://github.com/lingfengren/NoLan.
English
Object hallucination is a critical issue in Large Vision-Language Models (LVLMs), where outputs include objects that do not appear in the input image. A natural question arises from this phenomenon: Which component of the LVLM pipeline primarily contributes to object hallucinations? The vision encoder to perceive visual information, or the language decoder to generate text responses? In this work, we strive to answer this question through designing a systematic experiment to analyze the roles of the vision encoder and the language decoder in hallucination generation. Our observations reveal that object hallucinations are predominantly associated with the strong priors from the language decoder. Based on this finding, we propose a simple and training-free framework, No-Language-Hallucination Decoding, NoLan, which refines the output distribution by dynamically suppressing language priors, modulated based on the output distribution difference between multimodal and text-only inputs. Experimental results demonstrate that NoLan effectively reduces object hallucinations across various LVLMs on different tasks. For instance, NoLan achieves substantial improvements on POPE, enhancing the accuracy of LLaVA-1.5 7B and Qwen-VL 7B by up to 6.45 and 7.21, respectively. The code is publicly available at: https://github.com/lingfengren/NoLan.