Contrôle du Score pour la Réduction des Hallucinations dans les Modèles de Diffusion

Résumé

Les modèles de diffusion sont devenus la pierre angulaire de l'IA générative moderne, alimentant les avancées dans les domaines de la vision, du langage, de l'audio et d'autres modalités. Malgré leur succès, ils souffrent d'hallucinations, c'est-à-dire d'échantillons invraisemblables situés en dehors du support de la distribution réelle des données, ce qui nuit à la fiabilité et à la confiance. Dans ce travail, nous confirmons d'abord empiriquement l'hypothèse précédemment proposée selon laquelle la régularité du score (score smoothness) provoque des hallucinations dans les modèles de diffusion pour la génération d'images, et nous proposons une perspective basée sur la densité. Nous formalisons ensuite cette notion en reliant la masse de probabilité des hallucinations à la constante de Lipschitz de la fonction de score apprise. Motivés par cela, nous introduisons une stratégie de modulation du score guidée par la variance (Variance-Guided Score Modulation, VSM) qui contrôle le jacobien du score, réduisant ainsi la régularité du score et améliorant l'approximation du score réel, ce qui diminue les hallucinations. Les résultats empiriques sur des ensembles de données synthétiques et réels montrent que notre approche réduit les hallucinations (jusqu'à ~25 %) tout en maintenant une haute fidélité et diversité, constituant ainsi une étape fondée vers une génération d'images par diffusion plus fiable. Nous proposons également deux ensembles de données de référence avec une variation sémantique extrême pour une évaluation systématique des hallucinations. Le code et les ensembles de données sont disponibles publiquement à l'adresse https://github.com/bhosalems/VSM.

English

Diffusion models have emerged as the backbone of modern generative AI, powering advances in vision, language, audio and other modalities. Despite their success, they suffer from hallucinations, implausible samples that lie outside the support of true data distribution, which degrade reliability and trust. In this work, we first empirically confirm previously proposed hypothesis that score smoothness causes hallucinations in Image Generation diffusion models and provide a density-based perspective. We further formalize this notion by linking the hallucinations probability mass to lipschitz constant of the learned score function. Motivated by this, we introduce a Variance-Guided Score Modulation (VSM) strategy that controls the score Jacobian, in turn reducing score smoothness and better approximating the ground truth score that decreases hallucinations. Empirical results on synthetic and real-world datasets demonstrate that our approach reduces hallucinations (up to ~25%) while maintaining high fidelity and diversity, providing a principled step toward more reliable diffusion-based image generation. We also propose two benchmark datasets with extreme semantic variation for systematic hallucination evaluation. Code and Datasets are publicly available at https://github.com/bhosalems/VSM.