Понимание галлюцинаций в моделях диффузии через интерполяцию режимов

Understanding Hallucinations in Diffusion Models through Mode Interpolation

June 13, 2024

Авторы: Sumukh K Aithal, Pratyush Maini, Zachary C. Lipton, J. Zico Kolter

cs.AI

Аннотация

В общем разговоре модели генерации изображений на основе диффузионных процессов часто называют "галлюцинациями", образцами, которые никогда не могли возникнуть в обучающих данных. Но откуда берутся такие галлюцинации? В данной статье мы изучаем конкретный вид неудачного поведения в моделях диффузии, который мы называем интерполяцией моды. Конкретно, мы обнаружили, что модели диффузии плавно "интерполируют" между близкими режимами данных в обучающем наборе, чтобы генерировать образцы, полностью выходящие за пределы исходного распределения обучающих данных; этот феномен приводит к появлению в моделях диффузии артефактов, которые никогда не существовали в реальных данных (т.е. галлюцинации). Мы систематически изучаем причины и проявления этого явления. Через эксперименты с одномерными и двумерными гауссовскими распределениями мы показываем, как разрывный ландшафт потерь в декодере модели диффузии приводит к области, где любое плавное приближение вызовет такие галлюцинации. Через эксперименты на искусственных наборах данных с различными формами мы показываем, как галлюцинация приводит к генерации комбинаций форм, которые никогда не существовали. Наконец, мы показываем, что модели диффузии фактически знают, когда они выходят за пределы и галлюцинируют. Это отражается высокой дисперсией в траектории сгенерированного образца к последним нескольким обратным процессам выборки. Используя простую метрику для оценки этой дисперсии, мы можем устранить более 95% галлюцинаций на этапе генерации, сохраняя при этом 96% образцов в пределах поддержки. Мы завершаем наше исследование, показывая последствия таких галлюцинаций (и их устранения) на коллапс (и стабилизацию) рекурсивного обучения на синтетических данных с экспериментами на наборе данных MNIST и двумерных гауссовских данных. Мы выкладываем наш код на https://github.com/locuslab/diffusion-model-hallucination.

English

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit "hallucinations," samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly "interpolate" between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model's decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.