Les classificateurs par diffusion comprennent la compositionnalité, mais sous certaines conditions.

Diffusion Classifiers Understand Compositionality, but Conditions Apply

May 23, 2025

Auteurs: Yujin Jeong, Arnas Uselis, Seong Joon Oh, Anna Rohrbach

cs.AI

Résumé

Comprendre les scènes visuelles est fondamental pour l'intelligence humaine. Bien que les modèles discriminatifs aient considérablement fait progresser la vision par ordinateur, ils peinent souvent à appréhender la compositionnalité. En revanche, les récents modèles génératifs de diffusion texte-image excellent dans la synthèse de scènes complexes, suggérant des capacités compositionnelles intrinsèques. S'appuyant sur cela, des classificateurs de diffusion en zero-shot ont été proposés pour réutiliser les modèles de diffusion dans des tâches discriminatives. Bien que les travaux antérieurs aient montré des résultats prometteurs dans des scénarios discriminatifs compositionnels, ces résultats restent préliminaires en raison du nombre limité de benchmarks et d'une analyse relativement superficielle des conditions de réussite des modèles. Pour remédier à cela, nous présentons une étude approfondie des capacités discriminatives des classificateurs de diffusion sur un large éventail de tâches compositionnelles. Plus précisément, notre étude couvre trois modèles de diffusion (SD 1.5, 2.0 et, pour la première fois, 3-m) sur 10 jeux de données et plus de 30 tâches. De plus, nous éclairons le rôle que jouent les domaines des jeux de données cibles dans les performances respectives ; pour isoler les effets de domaine, nous introduisons un nouveau benchmark diagnostique, Self-Bench, composé d'images créées par les modèles de diffusion eux-mêmes. Enfin, nous explorons l'importance de la pondération des pas de temps et mettons en évidence une relation entre l'écart de domaine et la sensibilité aux pas de temps, en particulier pour SD3-m. En résumé, les classificateurs de diffusion comprennent la compositionnalité, mais sous certaines conditions ! Le code et les jeux de données sont disponibles à l'adresse https://github.com/eugene6923/Diffusion-Classifiers-Compositionality.

English

Understanding visual scenes is fundamental to human intelligence. While discriminative models have significantly advanced computer vision, they often struggle with compositional understanding. In contrast, recent generative text-to-image diffusion models excel at synthesizing complex scenes, suggesting inherent compositional capabilities. Building on this, zero-shot diffusion classifiers have been proposed to repurpose diffusion models for discriminative tasks. While prior work offered promising results in discriminative compositional scenarios, these results remain preliminary due to a small number of benchmarks and a relatively shallow analysis of conditions under which the models succeed. To address this, we present a comprehensive study of the discriminative capabilities of diffusion classifiers on a wide range of compositional tasks. Specifically, our study covers three diffusion models (SD 1.5, 2.0, and, for the first time, 3-m) spanning 10 datasets and over 30 tasks. Further, we shed light on the role that target dataset domains play in respective performance; to isolate the domain effects, we introduce a new diagnostic benchmark Self-Bench comprised of images created by diffusion models themselves. Finally, we explore the importance of timestep weighting and uncover a relationship between domain gap and timestep sensitivity, particularly for SD3-m. To sum up, diffusion classifiers understand compositionality, but conditions apply! Code and dataset are available at https://github.com/eugene6923/Diffusion-Classifiers-Compositionality.