Naar multimodaal begrip via Stable Diffusion als een taakbewuste kenmerkextractor

Towards Multimodal Understanding via Stable Diffusion as a Task-Aware Feature Extractor

July 9, 2025

Auteurs: Vatsal Agarwal, Matthew Gwilliam, Gefen Kohavi, Eshan Verma, Daniel Ulbricht, Abhinav Shrivastava

cs.AI

Samenvatting

Recente ontwikkelingen in multimodale grote taalmodellen (MLLMs) hebben beeldgebaseerde vraag-antwoordmogelijkheden mogelijk gemaakt. Een belangrijke beperking is echter het gebruik van CLIP als visuele encoder; hoewel het grove globale informatie kan vastleggen, mist het vaak fijnmazige details die relevant zijn voor de invoervraag. Om deze tekortkomingen aan te pakken, onderzoekt dit werk of vooraf getrainde tekst-naar-beeld diffusiemodellen kunnen dienen als instructiegevoelige visuele encoders. Door een analyse van hun interne representaties, ontdekken we dat diffusiekenmerken zowel rijk zijn aan semantiek als sterke beeld-tekst-uitlijning kunnen coderen. Bovendien ontdekken we dat we tekstconditionering kunnen gebruiken om het model te richten op regio's die relevant zijn voor de invoervraag. We onderzoeken vervolgens hoe deze kenmerken kunnen worden uitgelijnd met grote taalmodellen en ontdekken een lekverschijnsel, waarbij het LLM onbedoeld informatie kan herstellen uit de oorspronkelijke diffusieprompt. We analyseren de oorzaken van dit lek en stellen een mitigatiestrategie voor. Op basis van deze inzichten verkennen we een eenvoudige fusiestrategie die zowel CLIP als conditionele diffusiekenmerken benut. We evalueren onze aanpak op zowel algemene VQA- als gespecialiseerde MLLM-benchmarks, wat de belofte van diffusiemodellen voor visueel begrip aantoont, met name in visiegerichte taken die ruimtelijk en compositioneel redeneren vereisen. Onze projectpagina is te vinden op https://vatsalag99.github.io/mustafar/.

English

Recent advances in multimodal large language models (MLLMs) have enabled image-based question-answering capabilities. However, a key limitation is the use of CLIP as the visual encoder; while it can capture coarse global information, it often can miss fine-grained details that are relevant to the input query. To address these shortcomings, this work studies whether pre-trained text-to-image diffusion models can serve as instruction-aware visual encoders. Through an analysis of their internal representations, we find diffusion features are both rich in semantics and can encode strong image-text alignment. Moreover, we find that we can leverage text conditioning to focus the model on regions relevant to the input question. We then investigate how to align these features with large language models and uncover a leakage phenomenon, where the LLM can inadvertently recover information from the original diffusion prompt. We analyze the causes of this leakage and propose a mitigation strategy. Based on these insights, we explore a simple fusion strategy that utilizes both CLIP and conditional diffusion features. We evaluate our approach on both general VQA and specialized MLLM benchmarks, demonstrating the promise of diffusion models for visual understanding, particularly in vision-centric tasks that require spatial and compositional reasoning. Our project page can be found https://vatsalag99.github.io/mustafar/.