확산 모델의 다양성 있는 샘플링을 위한 반발 점수 증류

Repulsive Score Distillation for Diverse Sampling of Diffusion Models

June 24, 2024

저자: Nicolas Zilberstein, Morteza Mardani, Santiago Segarra

cs.AI

초록

스코어 증류 샘플링은 복잡한 시각적 요소의 생성에 확산 모델을 통합하는 데 핵심적인 역할을 해왔습니다. 그러나 인상적인 결과에도 불구하고, 이 방법은 모드 붕괴와 다양성 부족 문제를 겪고 있습니다. 이러한 문제를 해결하기 위해, 우리는 스코어 증류의 그래디언트 흐름 해석을 활용하여 반발적 스코어 증류(Repulsive Score Distillation, RSD)를 제안합니다. 특히, 우리는 다양성을 촉진하기 위해 입자 앙상블 간의 반발력을 기반으로 한 변분 프레임워크를 제안합니다. 입자 간의 결합을 포함하는 변분 근사를 사용함으로써, 반발력은 입자 간의 상대적 유사성(예: 방사형 기저 커널을 통해 측정)을 기반으로 입자 간 상호작용을 가능하게 하는 간단한 정규화로 나타납니다. 우리는 제약이 없는 샘플링 시나리오와 제약이 있는 샘플링 시나리오 모두에 대해 RSD를 설계했습니다. 제약이 있는 샘플링의 경우, 우리는 잠재 공간에서의 역문제에 초점을 맞추어 계산, 품질, 다양성 간의 균형을 잘 맞추는 확장된 변분 공식을 도출했습니다. 텍스트-이미지 생성 및 역문제에 대한 광범위한 실험을 통해 RSD가 최신 대안들에 비해 다양성과 품질 간의 우수한 균형을 달성함을 입증했습니다.

English

Score distillation sampling has been pivotal for integrating diffusion models into generation of complex visuals. Despite impressive results it suffers from mode collapse and lack of diversity. To cope with this challenge, we leverage the gradient flow interpretation of score distillation to propose Repulsive Score Distillation (RSD). In particular, we propose a variational framework based on repulsion of an ensemble of particles that promotes diversity. Using a variational approximation that incorporates a coupling among particles, the repulsion appears as a simple regularization that allows interaction of particles based on their relative pairwise similarity, measured e.g., via radial basis kernels. We design RSD for both unconstrained and constrained sampling scenarios. For constrained sampling we focus on inverse problems in the latent space that leads to an augmented variational formulation, that strikes a good balance between compute, quality and diversity. Our extensive experiments for text-to-image generation, and inverse problems demonstrate that RSD achieves a superior trade-off between diversity and quality compared with state-of-the-art alternatives.