양식 간 충돌: MLLM의 선호도 동역학을 지배하는 단일 양식 추론 불확실성

초록

다중 모달 대규모 언어 모델(MLLM)은 서로 다른 양식이 상충되는 정보를 제공할 때 이를 해결해야 하며, 우리는 이 과정을 모달리티 추종(modality following)이라 명명한다. 기존 연구는 이 현상을 단순한 데이터셋 수준의 통계로만 측정하여, 단일 모델 추론에 대한 모델의 신뢰도(confidence) 영향력을 간과해왔다. 본 논문에서는 모달리티 추종을 두 가지 핵심 요소, 즉 상대적 추론 불확실성(단일 모달 예측 간의 사례별 신뢰도 격차)과 내재적 모달리티 선호도(불확실성이 균형을 이룰 때 모델이 보이는 안정적인 편향)로 분해하는 새로운 프레임워크를 제안한다. 이 프레임워크를 검증하기 위해 시각 및 텍스트 입력의 추론 난이도를 체계적으로 변동하는 제어 가능 데이터셋을 구축하였다. 엔트로피를 세분화된 불확실성 지표로 활용하여 우리는 보편적인 법칙을 발견했다: 특정 모달리티를 따를 확률은 해당 모달리티의 상대적 불확실성이 증가함에 따라 단조적으로 감소한다. 두 모달리티를 유사한 확률로 추종하는 경향을 보이는 상대적 난이도 수준, 즉 균형점(balance point)에서 모델의 내재적 선호도를 실용적으로 가늠할 수 있다. 이 측정값은 기존의 거시적 비율과 달리 단일 모달 능력과 데이터셋 편향에서 벗어나 모달리티 편향을 더 체계적이고 덜 혼란스럽게 규명하는 방법을 제공한다. 나아가 계층별 예측을 탐색함으로써 우리는 내부적 진동 메커니즘을 규명한다: 균형점 근방의 모호한 영역에서 모델은 계층 간에 양 모달리티를 오가며 망설이며, 이는 외부적으로 관찰되는 우유부단함을 설명한다. 종합적으로, 이러한 발견들은 상대적 불확실성과 내재적 선호도를 모달리티 추종을 지배하는 두 원리로 확립하며, MLLM이 상충 정보를 해결하는 방식에 대한 정량적 프레임워크와 메커니즘적 통찰을 함께 제시한다.

English

Multimodal large language models (MLLMs) must resolve conflicts when different modalities provide contradictory information, a process we term modality following. Prior work measured this behavior only with coarse dataset-level statistics, overlooking the influence of model's confidence in unimodal reasoning. In this paper, we introduce a new framework that decomposes modality following into two fundamental factors: relative reasoning uncertainty (the case-specific confidence gap between unimodal predictions) and inherent modality preference( a model's stable bias when uncertainties are balanced). To validate this framework, we construct a controllable dataset that systematically varies the reasoning difficulty of visual and textual inputs. Using entropy as a fine-grained uncertainty metric, we uncover a universal law: the probability of following a modality decreases monotonically as its relative uncertainty increases. At the relative difficulty level where the model tends to follow both modalities with comparable probability what we call the balance point, a practical indicator of the model's inherent preference. Unlike traditional macro-level ratios, this measure offers a more principled and less confounded way to characterize modality bias, disentangling it from unimodal capabilities and dataset artifacts. Further, by probing layer-wise predictions, we reveal the internal mechanism of oscillation: in ambiguous regions near the balance point, models vacillate between modalities across layers, explaining externally observed indecision. Together, these findings establish relative uncertainty and inherent preference as the two governing principles of modality following, offering both a quantitative framework and mechanistic insight into how MLLMs resolve conflicting information.

양식 간 충돌: MLLM의 선호도 동역학을 지배하는 단일 양식 추론 불확실성

When Modalities Conflict: How Unimodal Reasoning Uncertainty Governs Preference Dynamics in MLLMs

초록

Support