De Verborgen Taal van Diffusiemodellen

Samenvatting

Text-to-image diffusiemodellen hebben een ongeëvenaard vermogen getoond om hoogwaardige, diverse afbeeldingen te genereren vanuit een tekstueel concept (bijv. "een dokter", "liefde"). Het interne proces van het vertalen van tekst naar een rijke visuele representatie blijft echter een raadsel. In dit werk pakken we de uitdaging aan om conceptrepresentaties in text-to-image modellen te begrijpen door een invoertekstprompt te ontbinden in een kleine set interpreteerbare elementen. Dit wordt bereikt door het leren van een pseudo-token dat een spaarse gewogen combinatie is van tokens uit de vocabulaire van het model, met als doel de afbeeldingen die voor het gegeven concept worden gegenereerd te reconstrueren. Toegepast op het state-of-the-art Stable Diffusion-model onthult deze ontbinding niet-triviale en verrassende structuren in de representaties van concepten. Zo vinden we dat sommige concepten zoals "een president" of "een componist" worden gedomineerd door specifieke instanties (bijv. "Obama", "Biden") en hun interpolaties. Andere concepten, zoals "geluk", combineren geassocieerde termen die concreet ("familie", "lachen") of abstract ("vriendschap", "emotie") kunnen zijn. Naast het inzicht in de interne werking van Stable Diffusion, maakt onze methode ook toepassingen mogelijk zoals ontbinding van een enkele afbeelding naar tokens, detectie en mitigatie van bias, en semantische beeldmanipulatie. Onze code zal beschikbaar zijn op: https://hila-chefer.github.io/Conceptor/

English

Text-to-image diffusion models have demonstrated an unparalleled ability to generate high-quality, diverse images from a textual concept (e.g., "a doctor", "love"). However, the internal process of mapping text to a rich visual representation remains an enigma. In this work, we tackle the challenge of understanding concept representations in text-to-image models by decomposing an input text prompt into a small set of interpretable elements. This is achieved by learning a pseudo-token that is a sparse weighted combination of tokens from the model's vocabulary, with the objective of reconstructing the images generated for the given concept. Applied over the state-of-the-art Stable Diffusion model, this decomposition reveals non-trivial and surprising structures in the representations of concepts. For example, we find that some concepts such as "a president" or "a composer" are dominated by specific instances (e.g., "Obama", "Biden") and their interpolations. Other concepts, such as "happiness" combine associated terms that can be concrete ("family", "laughter") or abstract ("friendship", "emotion"). In addition to peering into the inner workings of Stable Diffusion, our method also enables applications such as single-image decomposition to tokens, bias detection and mitigation, and semantic image manipulation. Our code will be available at: https://hila-chefer.github.io/Conceptor/

De Verborgen Taal van Diffusiemodellen

The Hidden Language of Diffusion Models

Samenvatting

Support