NoLan: Mitigazione delle Allucinazioni Oggettuali nei Grandi Modelli Linguaggio-Visione mediante Soppressione Dinamica dei Prior Linguistici
NoLan: Mitigating Object Hallucinations in Large Vision-Language Models via Dynamic Suppression of Language Priors
February 25, 2026
Autori: Lingfeng Ren, Weihao Yu, Runpeng Yu, Xinchao Wang
cs.AI
Abstract
L'allucinazione di oggetti è un problema critico nei Grandi Modelli Visione-Linguaggio (LVLM), dove gli output includono oggetti non presenti nell'immagine di input. Da questo fenomeno sorge spontanea una domanda: quale componente della pipeline LVLM contribuisce principalmente alle allucinazioni di oggetti? L'encoder visivo, che percepisce le informazioni visive, o il decoder linguistico, che genera le risposte testuali? In questo lavoro, cerchiamo di rispondere a questa domanda progettando un esperimento sistematico per analizzare i ruoli dell'encoder visivo e del decoder linguistico nella generazione di allucinazioni. Le nostre osservazioni rivelano che le allucinazioni di oggetti sono prevalentemente associate ai forti preconcetti (priors) del decoder linguistico. Sulla base di questa scoperta, proponiamo un framework semplice e senza necessità di addestramento, il No-Language-Hallucination Decoding (NoLan), che affina la distribuzione di output sopprimendo dinamicamente i preconcetti linguistici, modulati in base alla differenza nella distribuzione di output tra input multimodali e input puramente testuali. I risultati sperimentali dimostrano che NoLan riduce efficacemente le allucinazioni di oggetti in vari LVLM su diversi compiti. Ad esempio, NoLan ottiene miglioramenti sostanziali sul benchmark POPE, aumentando l'accuratezza di LLaVA-1.5 7B e Qwen-VL 7B fino a 6.45 e 7.21 punti, rispettivamente. Il codice è pubblicamente disponibile all'indirizzo: https://github.com/lingfengren/NoLan.
English
Object hallucination is a critical issue in Large Vision-Language Models (LVLMs), where outputs include objects that do not appear in the input image. A natural question arises from this phenomenon: Which component of the LVLM pipeline primarily contributes to object hallucinations? The vision encoder to perceive visual information, or the language decoder to generate text responses? In this work, we strive to answer this question through designing a systematic experiment to analyze the roles of the vision encoder and the language decoder in hallucination generation. Our observations reveal that object hallucinations are predominantly associated with the strong priors from the language decoder. Based on this finding, we propose a simple and training-free framework, No-Language-Hallucination Decoding, NoLan, which refines the output distribution by dynamically suppressing language priors, modulated based on the output distribution difference between multimodal and text-only inputs. Experimental results demonstrate that NoLan effectively reduces object hallucinations across various LVLMs on different tasks. For instance, NoLan achieves substantial improvements on POPE, enhancing the accuracy of LLaVA-1.5 7B and Qwen-VL 7B by up to 6.45 and 7.21, respectively. The code is publicly available at: https://github.com/lingfengren/NoLan.