확산 모델에서 할루시네이션 감소를 위한 스코어 제어

초록

확산 모델은 현대 생성형 AI의 중추로 자리 잡으며, 시각, 언어, 오디오 등 다양한 양식에서 발전을 주도하고 있다. 이러한 성공에도 불구하고 확산 모델은 환각(hallucination), 즉 실제 데이터 분포의 지지집합 밖에 위치한 비현실적인 샘플을 생성하여 신뢰성과 신뢰도를 저하시킨다. 본 연구에서는 먼저 이미지 생성 확산 모델에서 점수 평활성(score smoothness)이 환각을 유발한다는 기존 가설을 경험적으로 확인하고, 밀도 기반 관점을 제시한다. 또한 환각 확률 질량을 학습된 점수 함수의 립시츠 상수(Lipschitz constant)와 연결함으로써 이 개념을 공식화한다. 이에 착안하여 점수 야코비안(score Jacobian)을 제어하는 분산 기반 점수 변조(Variance-Guided Score Modulation, VSM) 전략을 도입하며, 이를 통해 점수 평활성을 줄이고 환각을 감소시키는 실측 점수(ground truth score)를 더 잘 근사한다. 합성 및 실제 데이터셋에 대한 실험 결과, 본 접근법은 높은 충실도와 다양성을 유지하면서 환각을 최대 약 25%까지 감소시켜, 보다 신뢰할 수 있는 확산 기반 이미지 생성을 위한 원칙적인 단계를 제공함을 보여준다. 또한 체계적인 환각 평가를 위해 극단적인 의미 변이를 가진 두 개의 벤치마크 데이터셋을 제안한다. 코드와 데이터셋은 https://github.com/bhosalems/VSM 에서 공개적으로 이용 가능하다.

English

Diffusion models have emerged as the backbone of modern generative AI, powering advances in vision, language, audio and other modalities. Despite their success, they suffer from hallucinations, implausible samples that lie outside the support of true data distribution, which degrade reliability and trust. In this work, we first empirically confirm previously proposed hypothesis that score smoothness causes hallucinations in Image Generation diffusion models and provide a density-based perspective. We further formalize this notion by linking the hallucinations probability mass to lipschitz constant of the learned score function. Motivated by this, we introduce a Variance-Guided Score Modulation (VSM) strategy that controls the score Jacobian, in turn reducing score smoothness and better approximating the ground truth score that decreases hallucinations. Empirical results on synthetic and real-world datasets demonstrate that our approach reduces hallucinations (up to ~25%) while maintaining high fidelity and diversity, providing a principled step toward more reliable diffusion-based image generation. We also propose two benchmark datasets with extreme semantic variation for systematic hallucination evaluation. Code and Datasets are publicly available at https://github.com/bhosalems/VSM.