Hacia la Comprensión Multimodal mediante Stable Diffusion como Extractor de Características Orientado a Tareas

Towards Multimodal Understanding via Stable Diffusion as a Task-Aware Feature Extractor

July 9, 2025

Autores: Vatsal Agarwal, Matthew Gwilliam, Gefen Kohavi, Eshan Verma, Daniel Ulbricht, Abhinav Shrivastava

cs.AI

Resumen

Los recientes avances en los modelos de lenguaje multimodal de gran escala (MLLMs, por sus siglas en inglés) han permitido capacidades de respuesta a preguntas basadas en imágenes. Sin embargo, una limitación clave es el uso de CLIP como codificador visual; aunque puede capturar información global general, a menudo puede omitir detalles específicos que son relevantes para la consulta de entrada. Para abordar estas deficiencias, este trabajo estudia si los modelos de difusión preentrenados de texto a imagen pueden servir como codificadores visuales conscientes de instrucciones. A través de un análisis de sus representaciones internas, encontramos que las características de difusión son ricas en semántica y pueden codificar una fuerte alineación entre imagen y texto. Además, descubrimos que podemos aprovechar el condicionamiento de texto para enfocar el modelo en regiones relevantes a la pregunta de entrada. Luego, investigamos cómo alinear estas características con modelos de lenguaje de gran escala y descubrimos un fenómeno de filtración, donde el LLM puede recuperar inadvertidamente información del prompt original de difusión. Analizamos las causas de esta filtración y proponemos una estrategia de mitigación. Basándonos en estas ideas, exploramos una estrategia de fusión simple que utiliza tanto características de CLIP como de difusión condicional. Evaluamos nuestro enfoque en benchmarks generales de VQA y especializados de MLLM, demostrando el potencial de los modelos de difusión para la comprensión visual, particularmente en tareas centradas en la visión que requieren razonamiento espacial y composicional. Nuestra página del proyecto se puede encontrar en https://vatsalag99.github.io/mustafar/.

English

Recent advances in multimodal large language models (MLLMs) have enabled image-based question-answering capabilities. However, a key limitation is the use of CLIP as the visual encoder; while it can capture coarse global information, it often can miss fine-grained details that are relevant to the input query. To address these shortcomings, this work studies whether pre-trained text-to-image diffusion models can serve as instruction-aware visual encoders. Through an analysis of their internal representations, we find diffusion features are both rich in semantics and can encode strong image-text alignment. Moreover, we find that we can leverage text conditioning to focus the model on regions relevant to the input question. We then investigate how to align these features with large language models and uncover a leakage phenomenon, where the LLM can inadvertently recover information from the original diffusion prompt. We analyze the causes of this leakage and propose a mitigation strategy. Based on these insights, we explore a simple fusion strategy that utilizes both CLIP and conditional diffusion features. We evaluate our approach on both general VQA and specialized MLLM benchmarks, demonstrating the promise of diffusion models for visual understanding, particularly in vision-centric tasks that require spatial and compositional reasoning. Our project page can be found https://vatsalag99.github.io/mustafar/.