一部のモダリティは他のモダリティより平等である：MLLMにおけるマルチモーダル統合のデコーディングとアーキテクチャ設計

要旨

マルチモーダル大規模言語モデル（MLLM）には目覚ましい進展が見られるものの、根本的な疑問が残る：MLLMは矛盾するモダリティに対して頑健なのか？これを厳密に検討するため、モデルの特定モダリティへの依存性を探る動画とタスクから構成されるMMA-Benchを導入する。ブラックボックスおよびホワイトボックスの解釈可能性技術を用いて、オープンソース及びクローズドソースのMLLM双方の脆弱性に関する批判的分析を提供する。現在のMLLMは、整合しない視聴覚ペアや単純な誤解を招くテキストに対して困難を示し、頑健なマルチモーダル推論を欠いていることを示す。これらの知見に基づき、モデルに特定のモダリティ手がかりをいつ優先し、活用し、無視するかを教えるモダリティ整合性チューニング戦略を提案する。広範な実験と分析を通じて、当社の整合性チューニングが明らかに強力なマルチモーダル基盤を生み出すことを示す。本研究は、解釈可能性ツールと、本質的に信頼性の高いクロスモーダル推論を備えたMLLM開発への明確な道筋の両方を提供する。コードとデータセットは公開予定である。

English

Despite remarkable advancements in Multimodal Large Language Models (MLLMs), a fundamental question remains: are MLLMs robust to contradicting modalities? To rigorously study this, we introduce MMA-Bench comprising videos and tasks that probe a model's reliance on specific modalities. Using black-box and white-box interpretability techniques, we provide a critical analysis of the brittleness of both open- and closed-sourced MLLMs. We show that current MLLMs struggle under misaligned audio-visual pairs and simple misleading text, thereby lacking robust multi-modal reasoning. Building on these findings, we propose a modality alignment tuning strategy to teach the model when to prioritize, leverage, or ignore specific modality cues. Through extensive experiments and analysis, we show that our alignment tuning yields demonstrably stronger multimodal grounding. This work provides both interpretability tools and a clear path toward developing MLLMs with intrinsically reliable cross-modal reasoning. Code and dataset will be publicly available.

一部のモダリティは他のモダリティより平等である：MLLMにおけるマルチモーダル統合のデコーディングとアーキテクチャ設計

Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs

要旨

Support