Scorecontrole voor reductie van hallucinaties in diffusiemodellen

Samenvatting

Diffusiemodellen zijn uitgegroeid tot de ruggengraat van moderne generatieve AI en drijven vooruitgang in visie, taal, audio en andere modaliteiten. Ondanks hun succes lijden ze aan hallucinaties: onwaarschijnlijke samples die buiten de drager van de echte datadistributie vallen, wat de betrouwbaarheid en het vertrouwen vermindert. In dit werk bevestigen we eerst empirisch de eerder voorgestelde hypothese dat scoregladheid hallucinaties veroorzaakt in diffusiemodellen voor beeldgeneratie en bieden we een dichtheidsgebaseerd perspectief. We formaliseren dit begrip verder door de waarschijnlijkheidsmassa van hallucinaties te koppelen aan de Lipschitz-constante van de geleerde scorefunctie. Gemotiveerd hierdoor introduceren we een variantiegestuurde scoremodulatie (VSM)-strategie die de score-Jacobiaan controleert, wat op zijn beurt de scoregladheid vermindert en de ware score beter benadert, waardoor hallucinaties afnemen. Empirische resultaten op synthetische en real-world datasets tonen aan dat onze aanpak hallucinaties vermindert (tot ~25%) terwijl hoge getrouwheid en diversiteit behouden blijven, wat een principiële stap biedt naar betrouwbaardere diffusiegebaseerde beeldgeneratie. We stellen ook twee benchmarkdatasets voor met extreme semantische variatie voor systematische evaluatie van hallucinaties. Code en datasets zijn openbaar beschikbaar op https://github.com/bhosalems/VSM.

English

Diffusion models have emerged as the backbone of modern generative AI, powering advances in vision, language, audio and other modalities. Despite their success, they suffer from hallucinations, implausible samples that lie outside the support of true data distribution, which degrade reliability and trust. In this work, we first empirically confirm previously proposed hypothesis that score smoothness causes hallucinations in Image Generation diffusion models and provide a density-based perspective. We further formalize this notion by linking the hallucinations probability mass to lipschitz constant of the learned score function. Motivated by this, we introduce a Variance-Guided Score Modulation (VSM) strategy that controls the score Jacobian, in turn reducing score smoothness and better approximating the ground truth score that decreases hallucinations. Empirical results on synthetic and real-world datasets demonstrate that our approach reduces hallucinations (up to ~25%) while maintaining high fidelity and diversity, providing a principled step toward more reliable diffusion-based image generation. We also propose two benchmark datasets with extreme semantic variation for systematic hallucination evaluation. Code and Datasets are publicly available at https://github.com/bhosalems/VSM.