Rumo à Compreensão Multimodal via Stable Diffusion como um Extrator de Características Orientado a Tarefas

Towards Multimodal Understanding via Stable Diffusion as a Task-Aware Feature Extractor

July 9, 2025

Autores: Vatsal Agarwal, Matthew Gwilliam, Gefen Kohavi, Eshan Verma, Daniel Ulbricht, Abhinav Shrivastava

cs.AI

Resumo

Avanços recentes em modelos de linguagem multimodal de grande escala (MLLMs) têm possibilitado capacidades de resposta a perguntas baseadas em imagens. No entanto, uma limitação significativa é o uso do CLIP como codificador visual; embora ele possa capturar informações globais gerais, frequentemente perde detalhes refinados que são relevantes para a consulta de entrada. Para abordar essas deficiências, este trabalho investiga se modelos de difusão pré-treinados de texto para imagem podem servir como codificadores visuais conscientes de instruções. Através de uma análise de suas representações internas, descobrimos que as características de difusão são ricas em semântica e podem codificar um forte alinhamento entre imagem e texto. Além disso, observamos que é possível aproveitar o condicionamento de texto para focar o modelo em regiões relevantes à pergunta de entrada. Em seguida, investigamos como alinhar essas características com modelos de linguagem de grande escala e descobrimos um fenômeno de vazamento, onde o LLM pode recuperar inadvertidamente informações do prompt original de difusão. Analisamos as causas desse vazamento e propomos uma estratégia de mitigação. Com base nessas percepções, exploramos uma estratégia simples de fusão que utiliza tanto características do CLIP quanto de difusão condicional. Avaliamos nossa abordagem em benchmarks gerais de VQA e especializados de MLLM, demonstrando o potencial dos modelos de difusão para compreensão visual, particularmente em tarefas centradas na visão que exigem raciocínio espacial e composicional. Nossa página do projeto pode ser encontrada em https://vatsalag99.github.io/mustafar/.

English

Recent advances in multimodal large language models (MLLMs) have enabled image-based question-answering capabilities. However, a key limitation is the use of CLIP as the visual encoder; while it can capture coarse global information, it often can miss fine-grained details that are relevant to the input query. To address these shortcomings, this work studies whether pre-trained text-to-image diffusion models can serve as instruction-aware visual encoders. Through an analysis of their internal representations, we find diffusion features are both rich in semantics and can encode strong image-text alignment. Moreover, we find that we can leverage text conditioning to focus the model on regions relevant to the input question. We then investigate how to align these features with large language models and uncover a leakage phenomenon, where the LLM can inadvertently recover information from the original diffusion prompt. We analyze the causes of this leakage and propose a mitigation strategy. Based on these insights, we explore a simple fusion strategy that utilizes both CLIP and conditional diffusion features. We evaluate our approach on both general VQA and specialized MLLM benchmarks, demonstrating the promise of diffusion models for visual understanding, particularly in vision-centric tasks that require spatial and compositional reasoning. Our project page can be found https://vatsalag99.github.io/mustafar/.