К многомодальному пониманию через Stable Diffusion как задаче-ориентированный экстрактор признаков

Towards Multimodal Understanding via Stable Diffusion as a Task-Aware Feature Extractor

July 9, 2025

Авторы: Vatsal Agarwal, Matthew Gwilliam, Gefen Kohavi, Eshan Verma, Daniel Ulbricht, Abhinav Shrivastava

cs.AI

Аннотация

Последние достижения в области мультимодальных больших языковых моделей (MLLMs) позволили реализовать возможности ответов на вопросы на основе изображений. Однако ключевым ограничением является использование CLIP в качестве визуального кодировщика; хотя он способен улавливать общую глобальную информацию, он часто пропускает детализированные данные, которые важны для входного запроса. Для устранения этих недостатков в данной работе исследуется возможность использования предварительно обученных диффузионных моделей "текст-изображение" в качестве визуальных кодировщиков, учитывающих инструкции. Анализируя их внутренние представления, мы обнаруживаем, что признаки диффузии богаты семантикой и способны кодировать сильное соответствие между изображением и текстом. Более того, мы выясняем, что можно использовать текстовое условие для фокусировки модели на областях, релевантных входному вопросу. Затем мы исследуем, как согласовать эти признаки с большими языковыми моделями, и обнаруживаем явление утечки, при котором LLM может непреднамеренно восстанавливать информацию из исходного диффузионного запроса. Мы анализируем причины этой утечки и предлагаем стратегию для её устранения. На основе этих наблюдений мы исследуем простую стратегию слияния, которая использует как признаки CLIP, так и условные диффузионные признаки. Мы оцениваем наш подход на общих тестах VQA и специализированных бенчмарках MLLM, демонстрируя потенциал диффузионных моделей для визуального понимания, особенно в задачах, ориентированных на зрение, которые требуют пространственного и композиционного мышления. Наш проект доступен по ссылке: https://vatsalag99.github.io/mustafar/.

English

Recent advances in multimodal large language models (MLLMs) have enabled image-based question-answering capabilities. However, a key limitation is the use of CLIP as the visual encoder; while it can capture coarse global information, it often can miss fine-grained details that are relevant to the input query. To address these shortcomings, this work studies whether pre-trained text-to-image diffusion models can serve as instruction-aware visual encoders. Through an analysis of their internal representations, we find diffusion features are both rich in semantics and can encode strong image-text alignment. Moreover, we find that we can leverage text conditioning to focus the model on regions relevant to the input question. We then investigate how to align these features with large language models and uncover a leakage phenomenon, where the LLM can inadvertently recover information from the original diffusion prompt. We analyze the causes of this leakage and propose a mitigation strategy. Based on these insights, we explore a simple fusion strategy that utilizes both CLIP and conditional diffusion features. We evaluate our approach on both general VQA and specialized MLLM benchmarks, demonstrating the promise of diffusion models for visual understanding, particularly in vision-centric tasks that require spatial and compositional reasoning. Our project page can be found https://vatsalag99.github.io/mustafar/.