Comprendiendo las Alucinaciones en Modelos de Difusión a través de la Interpolación de Modos

Understanding Hallucinations in Diffusion Models through Mode Interpolation

June 13, 2024

Autores: Sumukh K Aithal, Pratyush Maini, Zachary C. Lipton, J. Zico Kolter

cs.AI

Resumen

Coloquialmente, se dice que los modelos de generación de imágenes basados en procesos de difusión a menudo exhiben "alucinaciones", es decir, muestras que nunca podrían ocurrir en los datos de entrenamiento. Pero, ¿de dónde provienen estas alucinaciones? En este artículo, estudiamos un modo particular de fallo en los modelos de difusión, al que denominamos interpolación de modos. Específicamente, encontramos que los modelos de difusión "interpolan" suavemente entre modos de datos cercanos en el conjunto de entrenamiento, generando muestras que están completamente fuera del soporte de la distribución original de entrenamiento; este fenómeno lleva a los modelos de difusión a generar artefactos que nunca existieron en datos reales (es decir, alucinaciones). Estudiamos sistemáticamente las razones y la manifestación de este fenómeno. A través de experimentos con Gaussianas 1D y 2D, mostramos cómo un paisaje de pérdida discontinuo en el decodificador del modelo de difusión conduce a una región donde cualquier aproximación suave causará tales alucinaciones. Mediante experimentos en conjuntos de datos artificiales con diversas formas, mostramos cómo la alucinación lleva a la generación de combinaciones de formas que nunca existieron. Finalmente, demostramos que los modelos de difusión, de hecho, saben cuándo salen del soporte y alucinan. Esto se captura por la alta varianza en la trayectoria de la muestra generada hacia los últimos pasos del proceso de muestreo inverso. Utilizando una métrica simple para capturar esta varianza, podemos eliminar más del 95% de las alucinaciones durante la generación, manteniendo el 96% de las muestras dentro del soporte. Concluimos nuestra exploración mostrando las implicaciones de dicha alucinación (y su eliminación) en el colapso (y estabilización) del entrenamiento recursivo en datos sintéticos, con experimentos en el conjunto de datos MNIST y Gaussianas 2D. Publicamos nuestro código en https://github.com/locuslab/diffusion-model-hallucination.

English

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit "hallucinations," samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly "interpolate" between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model's decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.