К снижению галлюцинаций в больших визуально-языковых моделях путем уточнения текстовых эмбеддингов

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

November 7, 2025

Авторы: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Vijay Kamarshi, Andrea Fanelli, Furong Huang

cs.AI

Аннотация

В данной работе мы выявляем систематическое смещение в преобладающих архитектурах LVLM в сторону языковой модальности, которое в значительной степени является следствием распространенной практики простого добавления визуальных эмбеддингов к входной текстовой последовательности. Для решения этой проблемы мы предлагаем простой, но эффективный метод, который уточняет текстовые эмбеддинги путем интеграции усредненных (average-pooled) визуальных признаков. Наш подход демонстрирует улучшение визуального grounding'а и значительное снижение галлюцинаций на общепринятых бенчмарках. Хотя усредняющий пулинг предлагает простой, надежный и эффективный способ включения визуальной информации, мы полагаем, что более сложные методы фьюжна могут дополнительно улучшить визуальный grounding и кросс-модальное выравнивание. Учитывая, что основная цель данной работы — продемонстрировать дисбаланс модальностей и его влияние на галлюцинации, а также показать, что уточнение текстовых эмбеддингов с помощью визуальной информации смягчает эту проблему, — мы оставляем исследование продвинутых стратегий фьюжна для будущих работ.

English

In this work, we identify an inherent bias in prevailing LVLM architectures toward the language modality, largely resulting from the common practice of simply appending visual embeddings to the input text sequence. To address this, we propose a simple yet effective method that refines textual embeddings by integrating average-pooled visual features. Our approach demonstrably improves visual grounding and significantly reduces hallucinations on established benchmarks. While average pooling offers a straightforward, robust, and efficient means of incorporating visual information, we believe that more sophisticated fusion methods could further enhance visual grounding and cross-modal alignment. Given that the primary focus of this work is to highlight the modality imbalance and its impact on hallucinations -- and to show that refining textual embeddings with visual information mitigates this issue -- we leave exploration of advanced fusion strategies for future work.