Compreendendo Alucinações em Modelos de Difusão por meio de Interpolação de Modos

Understanding Hallucinations in Diffusion Models through Mode Interpolation

June 13, 2024

Autores: Sumukh K Aithal, Pratyush Maini, Zachary C. Lipton, J. Zico Kolter

cs.AI

Resumo

Coloquialmente falando, modelos de geração de imagens baseados em processos de difusão são frequentemente descritos como exibindo "alucinações", ou seja, amostras que nunca ocorreriam nos dados de treinamento. Mas de onde vêm essas alucinações? Neste artigo, estudamos um modo específico de falha em modelos de difusão, que denominamos interpolação de modos. Especificamente, descobrimos que os modelos de difusão "interpolam" suavemente entre modos de dados próximos no conjunto de treinamento, gerando amostras que estão completamente fora do suporte da distribuição original de treinamento; esse fenômeno leva os modelos de difusão a gerar artefatos que nunca existiram em dados reais (ou seja, alucinações). Estudamos sistematicamente as razões e a manifestação desse fenômeno. Por meio de experimentos com Gaussianas 1D e 2D, mostramos como uma paisagem de perda descontínua no decodificador do modelo de difusão leva a uma região onde qualquer aproximação suave causará tais alucinações. Através de experimentos com conjuntos de dados artificiais de várias formas, mostramos como a alucinação leva à geração de combinações de formas que nunca existiram. Por fim, mostramos que os modelos de difusão, na verdade, sabem quando saem do suporte e alucinam. Isso é capturado pela alta variância na trajetória da amostra gerada durante as últimas etapas do processo de amostragem reversa. Usando uma métrica simples para capturar essa variância, podemos remover mais de 95% das alucinações no momento da geração, mantendo 96% das amostras dentro do suporte. Concluímos nossa exploração mostrando as implicações dessa alucinação (e sua remoção) no colapso (e estabilização) do treinamento recursivo em dados sintéticos, com experimentos no conjunto de dados MNIST e Gaussianas 2D. Disponibilizamos nosso código em https://github.com/locuslab/diffusion-model-hallucination.

English

Colloquially speaking, image generation models based upon diffusion processes are frequently said to exhibit "hallucinations," samples that could never occur in the training data. But where do such hallucinations come from? In this paper, we study a particular failure mode in diffusion models, which we term mode interpolation. Specifically, we find that diffusion models smoothly "interpolate" between nearby data modes in the training set, to generate samples that are completely outside the support of the original training distribution; this phenomenon leads diffusion models to generate artifacts that never existed in real data (i.e., hallucinations). We systematically study the reasons for, and the manifestation of this phenomenon. Through experiments on 1D and 2D Gaussians, we show how a discontinuous loss landscape in the diffusion model's decoder leads to a region where any smooth approximation will cause such hallucinations. Through experiments on artificial datasets with various shapes, we show how hallucination leads to the generation of combinations of shapes that never existed. Finally, we show that diffusion models in fact know when they go out of support and hallucinate. This is captured by the high variance in the trajectory of the generated sample towards the final few backward sampling process. Using a simple metric to capture this variance, we can remove over 95% of hallucinations at generation time while retaining 96% of in-support samples. We conclude our exploration by showing the implications of such hallucination (and its removal) on the collapse (and stabilization) of recursive training on synthetic data with experiments on MNIST and 2D Gaussians dataset. We release our code at https://github.com/locuslab/diffusion-model-hallucination.