Diffusieclassificatoren begrijpen compositionele structuren, maar onder bepaalde voorwaarden.

Diffusion Classifiers Understand Compositionality, but Conditions Apply

May 23, 2025

Auteurs: Yujin Jeong, Arnas Uselis, Seong Joon Oh, Anna Rohrbach

cs.AI

Samenvatting

Het begrijpen van visuele scènes is fundamenteel voor menselijke intelligentie. Hoewel discriminatieve modellen de computer vision aanzienlijk hebben gevorderd, hebben ze vaak moeite met compositioneel begrip. In tegenstelling hiermee blinken recente generatieve tekst-naar-beeld diffusiemodellen uit in het synthetiseren van complexe scènes, wat wijst op inherente compositionele capaciteiten. Hierop voortbouwend zijn zero-shot diffusieclassificatoren voorgesteld om diffusiemodellen in te zetten voor discriminatieve taken. Hoewel eerder onderzoek veelbelovende resultaten liet zien in discriminatieve compositionele scenario's, blijven deze resultaten voorlopig vanwege een beperkt aantal benchmarks en een relatief oppervlakkige analyse van de omstandigheden waaronder de modellen succesvol zijn. Om dit aan te pakken, presenteren we een uitgebreide studie van de discriminatieve capaciteiten van diffusieclassificatoren op een breed scala aan compositionele taken. Specifiek bestrijkt onze studie drie diffusiemodellen (SD 1.5, 2.0 en, voor het eerst, 3-m) over 10 datasets en meer dan 30 taken. Daarnaast belichten we de rol die de domeinen van de doeldatasets spelen in de respectievelijke prestaties; om de domeineffecten te isoleren, introduceren we een nieuwe diagnostische benchmark, Self-Bench, bestaande uit afbeeldingen die door diffusiemodellen zelf zijn gemaakt. Tot slot onderzoeken we het belang van timestep-weging en ontdekken we een relatie tussen domeinkloof en timestep-gevoeligheid, met name voor SD3-m. Kortom, diffusieclassificatoren begrijpen compositionaliteit, maar er zijn voorwaarden van toepassing! Code en dataset zijn beschikbaar op https://github.com/eugene6923/Diffusion-Classifiers-Compositionality.

English

Understanding visual scenes is fundamental to human intelligence. While discriminative models have significantly advanced computer vision, they often struggle with compositional understanding. In contrast, recent generative text-to-image diffusion models excel at synthesizing complex scenes, suggesting inherent compositional capabilities. Building on this, zero-shot diffusion classifiers have been proposed to repurpose diffusion models for discriminative tasks. While prior work offered promising results in discriminative compositional scenarios, these results remain preliminary due to a small number of benchmarks and a relatively shallow analysis of conditions under which the models succeed. To address this, we present a comprehensive study of the discriminative capabilities of diffusion classifiers on a wide range of compositional tasks. Specifically, our study covers three diffusion models (SD 1.5, 2.0, and, for the first time, 3-m) spanning 10 datasets and over 30 tasks. Further, we shed light on the role that target dataset domains play in respective performance; to isolate the domain effects, we introduce a new diagnostic benchmark Self-Bench comprised of images created by diffusion models themselves. Finally, we explore the importance of timestep weighting and uncover a relationship between domain gap and timestep sensitivity, particularly for SD3-m. To sum up, diffusion classifiers understand compositionality, but conditions apply! Code and dataset are available at https://github.com/eugene6923/Diffusion-Classifiers-Compositionality.