모드 보간을 통한 확산 모델의 환각 현상 이해

Understanding Hallucinations in Diffusion Models through Mode Interpolation

June 13, 2024

저자: Sumukh K Aithal, Pratyush Maini, Zachary C. Lipton, J. Zico Kolter

cs.AI

초록

일반적으로 말해서, 확산 과정(diffusion process)에 기반한 이미지 생성 모델은 훈련 데이터에서 절대 발생할 수 없는 샘플, 즉 "환각(hallucination)"을 보이는 경우가 많다고 알려져 있습니다. 하지만 이러한 환각은 어디에서 오는 것일까요? 본 논문에서는 우리가 '모드 보간(mode interpolation)'이라고 명명한 확산 모델의 특정 실패 모드를 연구합니다. 구체적으로, 확산 모델이 훈련 세트 내의 인접한 데이터 모드 사이를 부드럽게 "보간"하여 원래 훈련 분포의 지지 집합(support)을 완전히 벗어난 샘플을 생성한다는 사실을 발견했습니다. 이러한 현상은 확산 모델이 실제 데이터에는 존재하지 않는 아티팩트(즉, 환각)를 생성하게 만듭니다. 우리는 이 현상의 원인과 그 발현을 체계적으로 연구합니다. 1차원 및 2차원 가우시안 분포에 대한 실험을 통해, 확산 모델의 디코더에서 불연속적인 손실 경관(loss landscape)이 이러한 환각을 유발하는 영역을 어떻게 만드는지 보여줍니다. 다양한 형태의 인공 데이터셋에 대한 실험을 통해, 환각이 실제로는 존재하지 않는 형태의 조합을 생성하게 되는 과정을 설명합니다. 마지막으로, 확산 모델이 실제로 지지 집합을 벗어나 환각을 생성할 때 이를 알고 있다는 사실을 보여줍니다. 이는 생성된 샘플의 궤적에서 최종 몇 단계의 역방향 샘플링 과정 동안 높은 분산으로 포착됩니다. 이러한 분산을 측정하는 간단한 지표를 사용하여, 생성 시점에서 95% 이상의 환각을 제거하면서도 지지 집합 내 샘플의 96%를 유지할 수 있습니다. 우리는 MNIST와 2차원 가우시안 데이터셋에 대한 실험을 통해, 이러한 환각(및 그 제거)이 합성 데이터에 대한 재귀적 훈련의 붕괴(및 안정화)에 미치는 영향을 보여주며 탐구를 마무리합니다. 코드는 https://github.com/locuslab/diffusion-model-hallucination에서 공개합니다.

English

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit "hallucinations," samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly "interpolate" between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model's decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.