Afstotende Score Distillatie voor Diverse Steekproeven van Diffusiemodellen

Repulsive Score Distillation for Diverse Sampling of Diffusion Models

June 24, 2024

Auteurs: Nicolas Zilberstein, Morteza Mardani, Santiago Segarra

cs.AI

Samenvatting

Score distillation sampling is van cruciaal belang geweest voor het integreren van diffusiemodellen in de generatie van complexe visuals. Ondanks indrukwekkende resultaten lijdt het aan mode collapse en een gebrek aan diversiteit. Om deze uitdaging het hoofd te bieden, maken we gebruik van de gradient flow interpretatie van score distillation om Repulsive Score Distillation (RSD) voor te stellen. In het bijzonder stellen we een variatieraamwerk voor dat gebaseerd is op de afstoting van een ensemble van deeltjes, wat diversiteit bevordert. Door een variatiebenadering te gebruiken die een koppeling tussen deeltjes incorporeert, verschijnt de afstoting als een eenvoudige regularisatie die interactie tussen deeltjes mogelijk maakt op basis van hun relatieve paarsgewijze gelijkenis, gemeten bijvoorbeeld via radiale basisfuncties. We ontwerpen RSD voor zowel onbeperkte als beperkte sampling scenario's. Voor beperkte sampling richten we ons op inverse problemen in de latente ruimte, wat leidt tot een uitgebreide variatieformulering die een goede balans vindt tussen rekenkracht, kwaliteit en diversiteit. Onze uitgebreide experimenten voor tekst-naar-beeldgeneratie en inverse problemen tonen aan dat RSD een superieure balans bereikt tussen diversiteit en kwaliteit in vergelijking met state-of-the-art alternatieven.

English

Score distillation sampling has been pivotal for integrating diffusion models into generation of complex visuals. Despite impressive results it suffers from mode collapse and lack of diversity. To cope with this challenge, we leverage the gradient flow interpretation of score distillation to propose Repulsive Score Distillation (RSD). In particular, we propose a variational framework based on repulsion of an ensemble of particles that promotes diversity. Using a variational approximation that incorporates a coupling among particles, the repulsion appears as a simple regularization that allows interaction of particles based on their relative pairwise similarity, measured e.g., via radial basis kernels. We design RSD for both unconstrained and constrained sampling scenarios. For constrained sampling we focus on inverse problems in the latent space that leads to an augmented variational formulation, that strikes a good balance between compute, quality and diversity. Our extensive experiments for text-to-image generation, and inverse problems demonstrate that RSD achieves a superior trade-off between diversity and quality compared with state-of-the-art alternatives.