명령 앵커: 양상 중재의 인과적 역학 해부

Instruction Anchors: Dissecting the Causal Dynamics of Modality Arbitration

February 3, 2026

저자: Yu Zhang, Mufan Xu, Xuefeng Bai, Kehai chen, Pengfei Zhang, Yang Xiang, Min Zhang

cs.AI

초록

모달리티 추종은 다중모달 대규모 언어 모델(MLLM)이 사용자 지시에 따라 다중모달 콘텍스트를 선택적으로 활용하는 능력을 의미합니다. 이는 현실 세계 적용에서 안전성과 신뢰성을 보장하기 위한 핵심 요소입니다. 그러나 이러한 의사 결정 과정을 지배하는 근본적인 메커니즘은 아직 명확히 이해되지 않고 있습니다. 본 논문에서는 정보 흐름 관점에서 그 작동 메커니즘을 규명합니다. 우리의 연구 결과는 지시 토큰이 모달리티 중재를 위한 구조적 정착점으로 기능함을 보여줍니다. 얕은 어텐션 계층은 비선택적 정보 전달을 수행하며 다중모달 단서를 잠재적 버퍼 역할을 하는 이러한 정착점으로 라우팅합니다. 모달리티 경쟁은 지시 의도에 따라 깊은 어텐션 계층 내에서 해결되는 반면, MLP 계층은 의미론적 관성을 나타내며 방해 요인으로 작용합니다. 더 나아가, 우리는 이러한 중재를 주도하는 희소한 특화 어텐션 헤드 세트를 확인했습니다. 인과 관계 개입 실험을 통해 이 중요한 헤드의 단 5%만 조작하여 차단 시 모달리티 추종 비율을 60% 감소시키거나, 실패 샘플에 대한 표적 증폭을 통해 60% 증가시킬 수 있음을 입증했습니다. 우리의 연구는 모델 투명성 향상을 위한 중요한 진전을 이루었으며, MLLM에서 다중모달 정보를 조정하기 위한 원리 기반 프레임워크를 제공합니다.

English

Modality following serves as the capacity of multimodal large language models (MLLMs) to selectively utilize multimodal contexts based on user instructions. It is fundamental to ensuring safety and reliability in real-world deployments. However, the underlying mechanisms governing this decision-making process remain poorly understood. In this paper, we investigate its working mechanism through an information flow lens. Our findings reveal that instruction tokens function as structural anchors for modality arbitration: Shallow attention layers perform non-selective information transfer, routing multimodal cues to these anchors as a latent buffer; Modality competition is resolved within deep attention layers guided by the instruction intent, while MLP layers exhibit semantic inertia, acting as an adversarial force. Furthermore, we identify a sparse set of specialized attention heads that drive this arbitration. Causal interventions demonstrate that manipulating a mere 5% of these critical heads can decrease the modality-following ratio by 60% through blocking, or increase it by 60% through targeted amplification of failed samples. Our work provides a substantial step toward model transparency and offers a principled framework for the orchestration of multimodal information in MLLMs.