Distillazione del Punteggio Repulsivo per il Campionamento Diversificato nei Modelli di Diffusione

Repulsive Score Distillation for Diverse Sampling of Diffusion Models

June 24, 2024

Autori: Nicolas Zilberstein, Morteza Mardani, Santiago Segarra

cs.AI

Abstract

Il campionamento per distillazione del punteggio è stato fondamentale per integrare i modelli di diffusione nella generazione di visuali complesse. Nonostante i risultati impressionanti, soffre di collasso modale e mancanza di diversità. Per affrontare questa sfida, sfruttiamo l'interpretazione del flusso del gradiente della distillazione del punteggio per proporre la Distillazione del Punteggio Repulsiva (RSD). In particolare, proponiamo un framework variazionale basato sulla repulsione di un insieme di particelle che promuove la diversità. Utilizzando un'approssimazione variazionale che incorpora un accoppiamento tra le particelle, la repulsione appare come una semplice regolarizzazione che consente l'interazione delle particelle in base alla loro somiglianza reciproca a coppie, misurata ad esempio tramite kernel a base radiale. Progettiamo RSD sia per scenari di campionamento non vincolati che vincolati. Per il campionamento vincolato ci concentriamo su problemi inversi nello spazio latente che portano a una formulazione variazionale aumentata, che raggiunge un buon equilibrio tra calcolo, qualità e diversità. I nostri ampi esperimenti per la generazione di immagini da testo e per problemi inversi dimostrano che RSD raggiunge un compromesso superiore tra diversità e qualità rispetto alle alternative state-of-the-art.

English

Score distillation sampling has been pivotal for integrating diffusion models into generation of complex visuals. Despite impressive results it suffers from mode collapse and lack of diversity. To cope with this challenge, we leverage the gradient flow interpretation of score distillation to propose Repulsive Score Distillation (RSD). In particular, we propose a variational framework based on repulsion of an ensemble of particles that promotes diversity. Using a variational approximation that incorporates a coupling among particles, the repulsion appears as a simple regularization that allows interaction of particles based on their relative pairwise similarity, measured e.g., via radial basis kernels. We design RSD for both unconstrained and constrained sampling scenarios. For constrained sampling we focus on inverse problems in the latent space that leads to an augmented variational formulation, that strikes a good balance between compute, quality and diversity. Our extensive experiments for text-to-image generation, and inverse problems demonstrate that RSD achieves a superior trade-off between diversity and quality compared with state-of-the-art alternatives.