모달리티 충돌에 강건한 다중모드 대형 언어 모델
Robust Multimodal Large Language Models Against Modality Conflict
July 9, 2025
저자: Zongmeng Zhang, Wengang Zhou, Jie Zhao, Houqiang Li
cs.AI
초록
다중모달 대형 언어 모델(MLLMs)이 시각-언어 작업에서 인상적인 성능을 보임에도 불구하고, 실제 시나리오에서는 환각 현상이 발생하기 쉽습니다. 본 논문은 모달리티 충돌의 관점에서 MLLMs의 환각 현상을 조사합니다. 기존 연구들이 모델 응답과 입력 간의 충돌에 초점을 맞춘 것과 달리, 우리는 서로 다른 모달리티의 입력 간에 내재된 충돌을 연구하며, 이러한 충돌이 MLLMs를 딜레마에 빠뜨리고 직접적으로 환각을 유발한다는 점을 밝혔습니다. 우리는 모달리티 충돌을 공식적으로 정의하고, 시각-언어 작업에서 이러한 현상을 시뮬레이션하기 위해 Multimodal Modality Conflict (MMMC) 데이터셋을 구축했습니다. 모달리티 충돌로 인한 환각을 완화하기 위해 프롬프트 엔지니어링, 지도 미세 조정, 강화 학습 기반의 세 가지 방법을 제안했습니다. MMMC 데이터셋을 통해 이러한 방법들의 장단점을 분석하기 위해 광범위한 실험을 수행했습니다. 실험 결과, 강화 학습 방법이 모달리티 충돌 하에서 환각을 완화하는 데 가장 우수한 성능을 보였으며, 지도 미세 조정 방법도 안정적이고 유망한 성능을 나타냈습니다. 본 연구는 환각을 유발하는 미처 알려지지 않은 모달리티 충돌을 밝히고, MLLMs의 견고성에 대한 더 깊은 통찰을 제공합니다.
English
Despite the impressive capabilities of multimodal large language models
(MLLMs) in vision-language tasks, they are prone to hallucinations in
real-world scenarios. This paper investigates the hallucination phenomenon in
MLLMs from the perspective of modality conflict. Unlike existing works focusing
on the conflicts between model responses and inputs, we study the inherent
conflicts in inputs from different modalities that place MLLMs in a dilemma and
directly lead to hallucinations. We formally define the modality conflict and
construct a dataset named Multimodal Modality Conflict (MMMC) to simulate this
phenomenon in vision-language tasks. Three methods based on prompt engineering,
supervised fine-tuning, and reinforcement learning are proposed to alleviate
the hallucination caused by modality conflict. Extensive experiments are
conducted on the MMMC dataset to analyze the merits and demerits of these
methods. Our results show that the reinforcement learning method achieves the
best performance in mitigating the hallucination under modality conflict, while
the supervised fine-tuning method shows promising and stable performance. Our
work sheds light on the unnoticed modality conflict that leads to
hallucinations and provides more insights into the robustness of MLLMs.