I classificatori basati su diffusione comprendono la composizionalità, ma con alcune condizioni.

Diffusion Classifiers Understand Compositionality, but Conditions Apply

May 23, 2025

Autori: Yujin Jeong, Arnas Uselis, Seong Joon Oh, Anna Rohrbach

cs.AI

Abstract

Comprendere le scene visive è fondamentale per l'intelligenza umana. Sebbene i modelli discriminativi abbiano fatto avanzare significativamente la visione artificiale, spesso faticano a comprendere la composizione. Al contrario, i recenti modelli generativi di diffusione testo-immagine eccellono nella sintesi di scene complesse, suggerendo capacità compositive intrinseche. Sulla base di ciò, sono stati proposti classificatori di diffusione zero-shot per riutilizzare i modelli di diffusione in compiti discriminativi. Sebbene lavori precedenti abbiano offerto risultati promettenti in scenari compositivi discriminativi, questi risultati rimangono preliminari a causa di un numero limitato di benchmark e di un'analisi relativamente superficiale delle condizioni in cui i modelli hanno successo. Per affrontare questo problema, presentiamo uno studio completo delle capacità discriminative dei classificatori di diffusione su un'ampia gamma di compiti compositivi. Nello specifico, il nostro studio copre tre modelli di diffusione (SD 1.5, 2.0 e, per la prima volta, 3-m) su 10 dataset e oltre 30 task. Inoltre, gettiamo luce sul ruolo che i domini dei dataset target giocano nelle rispettive prestazioni; per isolare gli effetti del dominio, introduciamo un nuovo benchmark diagnostico, Self-Bench, composto da immagini create dai modelli di diffusione stessi. Infine, esploriamo l'importanza della ponderazione dei timestep e scopriamo una relazione tra il gap di dominio e la sensibilità ai timestep, in particolare per SD3-m. In sintesi, i classificatori di diffusione comprendono la composizionalità, ma con alcune condizioni! Il codice e il dataset sono disponibili all'indirizzo https://github.com/eugene6923/Diffusion-Classifiers-Compositionality.

English

Understanding visual scenes is fundamental to human intelligence. While discriminative models have significantly advanced computer vision, they often struggle with compositional understanding. In contrast, recent generative text-to-image diffusion models excel at synthesizing complex scenes, suggesting inherent compositional capabilities. Building on this, zero-shot diffusion classifiers have been proposed to repurpose diffusion models for discriminative tasks. While prior work offered promising results in discriminative compositional scenarios, these results remain preliminary due to a small number of benchmarks and a relatively shallow analysis of conditions under which the models succeed. To address this, we present a comprehensive study of the discriminative capabilities of diffusion classifiers on a wide range of compositional tasks. Specifically, our study covers three diffusion models (SD 1.5, 2.0, and, for the first time, 3-m) spanning 10 datasets and over 30 tasks. Further, we shed light on the role that target dataset domains play in respective performance; to isolate the domain effects, we introduce a new diagnostic benchmark Self-Bench comprised of images created by diffusion models themselves. Finally, we explore the importance of timestep weighting and uncover a relationship between domain gap and timestep sensitivity, particularly for SD3-m. To sum up, diffusion classifiers understand compositionality, but conditions apply! Code and dataset are available at https://github.com/eugene6923/Diffusion-Classifiers-Compositionality.