NoLan: Снижение галлюцинаций объектов в больших визуально-языковых моделях за счет динамического подавления языковых априорных данных

NoLan: Mitigating Object Hallucinations in Large Vision-Language Models via Dynamic Suppression of Language Priors

February 25, 2026

Авторы: Lingfeng Ren, Weihao Yu, Runpeng Yu, Xinchao Wang

cs.AI

Аннотация

Галлюцинации объектов — это серьёзная проблема в больших визуально-языковых моделях (LVLM), когда выходные данные содержат объекты, отсутствующие во входном изображении. Из этого явления возникает естественный вопрос: какой компонент конвейера LVLM в основном способствует возникновению галлюцинаций объектов? Визуальный кодировщик, воспринимающий зрительную информацию, или языковой декодер, генерирующий текстовые ответы? В данной работе мы стремимся ответить на этот вопрос, разработав систематический эксперимент для анализа ролей визуального кодировщика и языкового декодера в генерации галлюцинаций. Наши наблюдения показывают, что галлюцинации объектов в основном связаны с сильными априорными предположениями языкового декодера. На основе этого открытия мы предлагаем простую и не требующую обучения структуру — декодирование без языковых галлюцинаций (NoLan), которая уточняет распределение выходных данных путём динамического подавления языковых априорных предположений, регулируемого на основе разницы в распределении выходных данных между мультимодальными и чисто текстовыми входами. Результаты экспериментов демонстрируют, что NoLan эффективно снижает галлюцинации объектов в различных LVLM при решении разных задач. Например, NoLan обеспечивает значительное улучшение на benchmark POPE, повышая точность моделей LLaVA-1.5 7B и Qwen-VL 7B до 6,45 и 7,21 соответственно. Код доступен по адресу: https://github.com/lingfengren/NoLan.

English

Object hallucination is a critical issue in Large Vision-Language Models (LVLMs), where outputs include objects that do not appear in the input image. A natural question arises from this phenomenon: Which component of the LVLM pipeline primarily contributes to object hallucinations? The vision encoder to perceive visual information, or the language decoder to generate text responses? In this work, we strive to answer this question through designing a systematic experiment to analyze the roles of the vision encoder and the language decoder in hallucination generation. Our observations reveal that object hallucinations are predominantly associated with the strong priors from the language decoder. Based on this finding, we propose a simple and training-free framework, No-Language-Hallucination Decoding, NoLan, which refines the output distribution by dynamically suppressing language priors, modulated based on the output distribution difference between multimodal and text-only inputs. Experimental results demonstrate that NoLan effectively reduces object hallucinations across various LVLMs on different tasks. For instance, NoLan achieves substantial improvements on POPE, enhancing the accuracy of LLaVA-1.5 7B and Qwen-VL 7B by up to 6.45 and 7.21, respectively. The code is publicly available at: https://github.com/lingfengren/NoLan.