拡散モデルにおけるハルシネーション低減のためのスコア制御

要旨

拡散モデルは、現代の生成AIにおける基盤技術として登場し、画像、言語、音声、その他のモダリティにおける進歩を牽引している。その成功にもかかわらず、これらのモデルはハルシネーション（真のデータ分布のサポート外に位置する非妥当なサンプル）を生じさせ、信頼性と信用を損なう。本研究ではまず、画像生成拡散モデルにおいてスコアの平滑性がハルシネーションを引き起こすという従来の仮説を実証的に確認し、密度ベースの視点を提供する。さらに、ハルシネーションの確率質量を学習されたスコア関数のリプシッツ定数と結びつけることで、この概念を形式化する。この知見に基づき、スコアのヤコビアンを制御する分散誘導型スコア変調（VSM）戦略を導入し、スコアの平滑性を低減し、ハルシネーションを減少させる真のスコアをより良く近似する。合成データセットおよび実世界データセットを用いた実験結果は、本手法が高い忠実性と多様性を維持しつつ、ハルシネーションを最大約25%削減することを示しており、より信頼性の高い拡散モデルベースの画像生成への原理的な一歩を提供する。また、体系的なハルシネーション評価のための、極端な意味的変動を持つ2つのベンチマークデータセットも提案する。コードとデータセットはhttps://github.com/bhosalems/VSMで公開されている。

English

Diffusion models have emerged as the backbone of modern generative AI, powering advances in vision, language, audio and other modalities. Despite their success, they suffer from hallucinations, implausible samples that lie outside the support of true data distribution, which degrade reliability and trust. In this work, we first empirically confirm previously proposed hypothesis that score smoothness causes hallucinations in Image Generation diffusion models and provide a density-based perspective. We further formalize this notion by linking the hallucinations probability mass to lipschitz constant of the learned score function. Motivated by this, we introduce a Variance-Guided Score Modulation (VSM) strategy that controls the score Jacobian, in turn reducing score smoothness and better approximating the ground truth score that decreases hallucinations. Empirical results on synthetic and real-world datasets demonstrate that our approach reduces hallucinations (up to ~25%) while maintaining high fidelity and diversity, providing a principled step toward more reliable diffusion-based image generation. We also propose two benchmark datasets with extreme semantic variation for systematic hallucination evaluation. Code and Datasets are publicly available at https://github.com/bhosalems/VSM.