대규모 시각-언어 모델의 환각 현상 완화를 위한 텍스트 임베딩 정제 기법

초록

본 연구에서는 시각적 임베딩을 단순히 입력 텍스트 시퀀스에 추가하는 일반적인 관행으로 인해 기존 LVLM 아키텍처가 언어 양상에 가지는 내재적 편향을 지적합니다. 이를 해결하기 위해 평균 풀링된 시각적 특징을 통합하여 텍스트 임베딩을 정제하는 간단하지만 효과적인 방법을 제안합니다. 우리의 접근 방식은 확립된 벤치마크에서 시각적 기반을 개선하고 환각 현상을 현저히 감소시키는 것으로 입증되었습니다. 평균 풀링이 시각 정보를 통합하는 직관적이고 강력하며 효율적인 수단을 제공하지만, 보다 정교한 융합 방법이 시각적 기반과 교차 양상 정렬을 추가로 향상시킬 수 있을 것으로 믿습니다. 본 연구의 주요 초점이 양상 불균형과 환각 현상에 미치는 영향을 부각시키고, 시각 정보를 활용한 텍스트 임베딩 정제가 이 문제를 완화한다는 점을 입증하는 데 있으므로, 고급 융합 전략에 대한 탐구는 향후 연구로 남깁니다.

English

In this work, we identify an inherent bias in prevailing LVLM architectures toward the language modality, largely resulting from the common practice of simply appending visual embeddings to the input text sequence. To address this, we propose a simple yet effective method that refines textual embeddings by integrating average-pooled visual features. Our approach demonstrably improves visual grounding and significantly reduces hallucinations on established benchmarks. While average pooling offers a straightforward, robust, and efficient means of incorporating visual information, we believe that more sophisticated fusion methods could further enhance visual grounding and cross-modal alignment. Given that the primary focus of this work is to highlight the modality imbalance and its impact on hallucinations -- and to show that refining textual embeddings with visual information mitigates this issue -- we leave exploration of advanced fusion strategies for future work.

대규모 시각-언어 모델의 환각 현상 완화를 위한 텍스트 임베딩 정제 기법

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

초록

Support