Het begrijpen van hallucinaties in diffusiemodellen door middel van mode-interpolatie

Understanding Hallucinations in Diffusion Models through Mode Interpolation

June 13, 2024

Auteurs: Sumukh K Aithal, Pratyush Maini, Zachary C. Lipton, J. Zico Kolter

cs.AI

Samenvatting

In de volksmond wordt vaak gezegd dat beeldgeneratiemodellen gebaseerd op diffusieprocessen "hallucinaties" vertonen, samples die nooit in de trainingsdata zouden kunnen voorkomen. Maar waar komen deze hallucinaties vandaan? In dit artikel onderzoeken we een specifiek falingsmechanisme in diffusiemodellen, dat we mode-interpolatie noemen. Concreet ontdekken we dat diffusiemodellen soepel "interpoleren" tussen nabijgelegen datamodes in de trainingsset, waardoor samples worden gegenereerd die volledig buiten het bereik van de oorspronkelijke trainingsdistributie vallen; dit fenomeen leidt ertoe dat diffusiemodellen artefacten genereren die nooit in echte data voorkwamen (d.w.z. hallucinaties). We bestuderen systematisch de oorzaken en de manifestatie van dit fenomeen. Door experimenten met 1D- en 2D-Gaussiaanse verdelingen laten we zien hoe een discontinu verlieslandschap in de decoder van het diffusiemodel leidt tot een regio waar elke soepele benadering dergelijke hallucinaties veroorzaakt. Via experimenten met kunstmatige datasets van verschillende vormen tonen we aan hoe hallucinatie leidt tot het genereren van combinaties van vormen die nooit bestonden. Tot slot laten we zien dat diffusiemodellen feitelijk weten wanneer ze buiten het ondersteuningsbereik gaan en hallucineren. Dit wordt vastgelegd door de hoge variantie in het traject van het gegenereerde sample tijdens de laatste paar stappen van het backward sampling-proces. Door een eenvoudige metriek te gebruiken om deze variantie te meten, kunnen we meer dan 95% van de hallucinaties verwijderen tijdens het generatieproces, terwijl 96% van de binnen-ondersteuningsbereik samples behouden blijft. We sluiten onze verkenning af door de implicaties van dergelijke hallucinatie (en de verwijdering ervan) te laten zien op het instorten (en stabiliseren) van recursieve training op synthetische data, met experimenten op de MNIST- en 2D-Gaussiaanse datasets. We hebben onze code vrijgegeven op https://github.com/locuslab/diffusion-model-hallucination.

English

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit "hallucinations," samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly "interpolate" between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model's decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.