Comprendere le Allucinazioni nei Modelli di Diffusione attraverso l'Interpolazione di Modo

Understanding Hallucinations in Diffusion Models through Mode Interpolation

June 13, 2024

Autori: Sumukh K Aithal, Pratyush Maini, Zachary C. Lipton, J. Zico Kolter

cs.AI

Abstract

In termini colloquiali, i modelli di generazione di immagini basati su processi di diffusione sono spesso descritti come soggetti a "allucinazioni", ovvero campioni che non potrebbero mai verificarsi nei dati di addestramento. Ma da dove provengono queste allucinazioni? In questo articolo, studiamo una particolare modalità di fallimento nei modelli di diffusione, che definiamo interpolazione di modi. Nello specifico, scopriamo che i modelli di diffusione "interpolano" in modo fluido tra modi di dati vicini nel set di addestramento, generando campioni che si trovano completamente al di fuori del supporto della distribuzione di addestramento originale; questo fenomeno porta i modelli di diffusione a generare artefatti che non sono mai esistiti nei dati reali (cioè, allucinazioni). Studiamo sistematicamente le ragioni e le manifestazioni di questo fenomeno. Attraverso esperimenti su Gaussiane 1D e 2D, mostriamo come un paesaggio di perdita discontinuo nel decodificatore del modello di diffusione porti a una regione in cui qualsiasi approssimazione fluida causerà tali allucinazioni. Attraverso esperimenti su dataset artificiali con varie forme, mostriamo come l'allucinazione porti alla generazione di combinazioni di forme che non sono mai esistite. Infine, dimostriamo che i modelli di diffusione in realtà sanno quando escono dal supporto e allucinano. Questo è catturato dall'elevata varianza nella traiettoria del campione generato verso le ultime fasi del processo di campionamento inverso. Utilizzando una semplice metrica per catturare questa varianza, possiamo rimuovere oltre il 95% delle allucinazioni al momento della generazione, mantenendo il 96% dei campioni all'interno del supporto. Concludiamo la nostra esplorazione mostrando le implicazioni di tali allucinazioni (e della loro rimozione) sul collasso (e sulla stabilizzazione) dell'addestramento ricorsivo su dati sintetici, con esperimenti sul dataset MNIST e su Gaussiane 2D. Rilasciamo il nostro codice su https://github.com/locuslab/diffusion-model-hallucination.

English

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit "hallucinations," samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly "interpolate" between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model's decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.