マルチモーダル理解に向けて：タスク認識型特徴抽出器としてのStable Diffusion

Towards Multimodal Understanding via Stable Diffusion as a Task-Aware Feature Extractor

July 9, 2025

著者: Vatsal Agarwal, Matthew Gwilliam, Gefen Kohavi, Eshan Verma, Daniel Ulbricht, Abhinav Shrivastava

cs.AI

要旨

近年のマルチモーダル大規模言語モデル（MLLM）の進展により、画像に基づく質問応答能力が実現されています。しかし、視覚エンコーダとしてCLIPを使用することには重要な制限があります。CLIPは大まかなグローバル情報を捉えることができますが、入力クエリに関連する細かい詳細を見逃すことが多いです。これらの欠点を解決するため、本研究では、事前学習済みのテキストから画像への拡散モデルが指示認識型の視覚エンコーダとして機能し得るかどうかを検討します。内部表現の分析を通じて、拡散モデルの特徴は意味的に豊富であり、強力な画像-テキストの整合性をエンコードできることを発見しました。さらに、テキスト条件付けを活用して、入力質問に関連する領域にモデルの焦点を当てることができることを確認しました。次に、これらの特徴を大規模言語モデルと整合させる方法を調査し、LLMが元の拡散プロンプトから意図せず情報を回復してしまう「リーク現象」を発見しました。このリークの原因を分析し、緩和策を提案します。これらの知見に基づいて、CLIPと条件付き拡散特徴の両方を活用するシンプルな融合戦略を探ります。一般的なVQAと専門的なMLLMベンチマークの両方でアプローチを評価し、特に空間的および構成的推論を必要とする視覚中心のタスクにおいて、拡散モデルが視覚理解に有望であることを示します。プロジェクトページはhttps://vatsalag99.github.io/mustafar/でご覧いただけます。

English

Recent advances in multimodal large language models (MLLMs) have enabled image-based question-answering capabilities. However, a key limitation is the use of CLIP as the visual encoder; while it can capture coarse global information, it often can miss fine-grained details that are relevant to the input query. To address these shortcomings, this work studies whether pre-trained text-to-image diffusion models can serve as instruction-aware visual encoders. Through an analysis of their internal representations, we find diffusion features are both rich in semantics and can encode strong image-text alignment. Moreover, we find that we can leverage text conditioning to focus the model on regions relevant to the input question. We then investigate how to align these features with large language models and uncover a leakage phenomenon, where the LLM can inadvertently recover information from the original diffusion prompt. We analyze the causes of this leakage and propose a mitigation strategy. Based on these insights, we explore a simple fusion strategy that utilizes both CLIP and conditional diffusion features. We evaluate our approach on both general VQA and specialized MLLM benchmarks, demonstrating the promise of diffusion models for visual understanding, particularly in vision-centric tasks that require spatial and compositional reasoning. Our project page can be found https://vatsalag99.github.io/mustafar/.