Controle de Score para Redução de Alucinações em Modelos de Difusão

Resumo

Modelos de difusão emergiram como a espinha dorsal da IA generativa moderna, impulsionando avanços em visão, linguagem, áudio e outras modalidades. Apesar de seu sucesso, eles sofrem de alucinações — amostras implausíveis que estão fora do suporte da verdadeira distribuição dos dados —, o que degrada a confiabilidade e a confiança. Neste trabalho, primeiro confirmamos empiricamente a hipótese previamente proposta de que a suavidade do score causa alucinações em modelos de difusão de geração de imagens, e fornecemos uma perspectiva baseada em densidade. Formalizamos ainda essa noção ao vincular a massa de probabilidade de alucinação à constante de Lipschitz da função de score aprendida. Motivados por isso, introduzimos uma estratégia de Modulação de Score Guiada por Variância (VSM) que controla o Jacobiano do score, reduzindo assim a suavidade do score e aproximando melhor o score real, o que diminui as alucinações. Resultados empíricos em conjuntos de dados sintéticos e do mundo real demonstram que nossa abordagem reduz alucinações (em até ~25%) enquanto mantém alta fidelidade e diversidade, representando um passo fundamentado em direção a uma geração de imagens baseada em difusão mais confiável. Propomos também dois conjuntos de dados de referência com variação semântica extrema para avaliação sistemática de alucinações. O código e os conjuntos de dados estão disponíveis publicamente em https://github.com/bhosalems/VSM.

English

Diffusion models have emerged as the backbone of modern generative AI, powering advances in vision, language, audio and other modalities. Despite their success, they suffer from hallucinations, implausible samples that lie outside the support of true data distribution, which degrade reliability and trust. In this work, we first empirically confirm previously proposed hypothesis that score smoothness causes hallucinations in Image Generation diffusion models and provide a density-based perspective. We further formalize this notion by linking the hallucinations probability mass to lipschitz constant of the learned score function. Motivated by this, we introduce a Variance-Guided Score Modulation (VSM) strategy that controls the score Jacobian, in turn reducing score smoothness and better approximating the ground truth score that decreases hallucinations. Empirical results on synthetic and real-world datasets demonstrate that our approach reduces hallucinations (up to ~25%) while maintaining high fidelity and diversity, providing a principled step toward more reliable diffusion-based image generation. We also propose two benchmark datasets with extreme semantic variation for systematic hallucination evaluation. Code and Datasets are publicly available at https://github.com/bhosalems/VSM.