命令アンカー：モダリティ仲裁の因果的ダイナミクスの解明

要旨

モダリティ追従は、マルチモーダル大規模言語モデル（MLLM）がユーザーの指示に基づいてマルチモーダル文脈を選択的に利用する能力である。これは実世界での展開における安全性と信頼性を確保する上で基本的な要素となる。しかし、この意思決定プロセスを支配する根本的なメカニズムは未解明のままである。本論文では、情報フローの観点からその動作メカニズムを調査する。我々の知見は、指示トークンがモダリティ調停のための構造的アンカーとして機能することを明らかにする：浅い注意層は非選択的な情報転送を行い、マルチモーダル手がかりを潜在的なバッファとしてこれらのアンカーに経路制御する；モダリティ競合は指示意図に導かれた深い注意層内で解決され、一方MLP層は意味的慣性を示し、逆説的な力として作用する。さらに、我々はこの調停を駆動する疎な専門的注意ヘッドの集合を特定する。因果介入実験により、これらの重要なヘッドのわずか5%を操作するだけで、ブロックによりモダリティ追従率を60%減少させ、または失敗サンプルへの標的的増幅により60%増加させ得ることが実証された。我々の研究は、モデルの透明性に向けた重要な一歩を提供し、MLLMにおけるマルチモーダル情報の調整のための原理的な枠組みを提案する。

English

Modality following serves as the capacity of multimodal large language models (MLLMs) to selectively utilize multimodal contexts based on user instructions. It is fundamental to ensuring safety and reliability in real-world deployments. However, the underlying mechanisms governing this decision-making process remain poorly understood. In this paper, we investigate its working mechanism through an information flow lens. Our findings reveal that instruction tokens function as structural anchors for modality arbitration: Shallow attention layers perform non-selective information transfer, routing multimodal cues to these anchors as a latent buffer; Modality competition is resolved within deep attention layers guided by the instruction intent, while MLP layers exhibit semantic inertia, acting as an adversarial force. Furthermore, we identify a sparse set of specialized attention heads that drive this arbitration. Causal interventions demonstrate that manipulating a mere 5% of these critical heads can decrease the modality-following ratio by 60% through blocking, or increase it by 60% through targeted amplification of failed samples. Our work provides a substantial step toward model transparency and offers a principled framework for the orchestration of multimodal information in MLLMs.

命令アンカー：モダリティ仲裁の因果的ダイナミクスの解明

Instruction Anchors: Dissecting the Causal Dynamics of Modality Arbitration

要旨

Support