Comprendre les hallucinations dans les modèles de diffusion par interpolation de modes

Understanding Hallucinations in Diffusion Models through Mode Interpolation

June 13, 2024

Auteurs: Sumukh K Aithal, Pratyush Maini, Zachary C. Lipton, J. Zico Kolter

cs.AI

Résumé

Dans le langage courant, les modèles de génération d'images basés sur des processus de diffusion sont souvent décrits comme produisant des "hallucinations", c'est-à-dire des échantillons qui ne pourraient jamais apparaître dans les données d'entraînement. Mais d'où viennent ces hallucinations ? Dans cet article, nous étudions un mode de défaillance particulier des modèles de diffusion, que nous appelons interpolation de modes. Plus précisément, nous constatons que les modèles de diffusion "interpolent" de manière fluide entre les modes de données proches dans l'ensemble d'entraînement, générant ainsi des échantillons qui se situent complètement en dehors du support de la distribution d'entraînement originale ; ce phénomène conduit les modèles de diffusion à produire des artefacts qui n'ont jamais existé dans les données réelles (c'est-à-dire des hallucinations). Nous étudions systématiquement les raisons et les manifestations de ce phénomène. À travers des expériences sur des Gaussiennes 1D et 2D, nous montrons comment un paysage de perte discontinu dans le décodeur du modèle de diffusion crée une région où toute approximation lisse provoquera de telles hallucinations. Grâce à des expériences sur des ensembles de données artificiels de formes variées, nous montrons comment l'hallucination conduit à la génération de combinaisons de formes qui n'ont jamais existé. Enfin, nous montrons que les modèles de diffusion savent en fait quand ils sortent du support et hallucinent. Cela se traduit par une variance élevée dans la trajectoire de l'échantillon généré lors des dernières étapes du processus d'échantillonnage inverse. En utilisant une métrique simple pour capturer cette variance, nous pouvons éliminer plus de 95 % des hallucinations au moment de la génération tout en conservant 96 % des échantillons dans le support. Nous concluons notre exploration en montrant les implications de telles hallucinations (et de leur suppression) sur l'effondrement (et la stabilisation) de l'entraînement récursif sur des données synthétiques, avec des expériences sur les ensembles de données MNIST et Gaussiennes 2D. Nous mettons notre code à disposition à l'adresse suivante : https://github.com/locuslab/diffusion-model-hallucination.

English

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit "hallucinations," samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly "interpolate" between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model's decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.