Distilación de Puntuación Repulsiva para el Muestreo Diverso en Modelos de Difusión

Repulsive Score Distillation for Diverse Sampling of Diffusion Models

June 24, 2024

Autores: Nicolas Zilberstein, Morteza Mardani, Santiago Segarra

cs.AI

Resumen

El muestreo por destilación de puntuaciones ha sido fundamental para integrar modelos de difusión en la generación de visuales complejos. A pesar de los resultados impresionantes, sufre de colapso modal y falta de diversidad. Para abordar este desafío, aprovechamos la interpretación del flujo de gradiente de la destilación de puntuaciones para proponer la Destilación de Puntuación Repulsiva (RSD). En particular, proponemos un marco variacional basado en la repulsión de un conjunto de partículas que promueve la diversidad. Utilizando una aproximación variacional que incorpora un acoplamiento entre partículas, la repulsión aparece como una regularización simple que permite la interacción de partículas basada en su similitud relativa por pares, medida, por ejemplo, mediante núcleos de base radial. Diseñamos RSD tanto para escenarios de muestreo sin restricciones como con restricciones. Para el muestreo con restricciones, nos enfocamos en problemas inversos en el espacio latente que conducen a una formulación variacional aumentada, que logra un buen equilibrio entre el cómputo, la calidad y la diversidad. Nuestros extensos experimentos en generación de texto a imagen y problemas inversos demuestran que RSD alcanza un equilibrio superior entre diversidad y calidad en comparación con alternativas de vanguardia.

English

Score distillation sampling has been pivotal for integrating diffusion models into generation of complex visuals. Despite impressive results it suffers from mode collapse and lack of diversity. To cope with this challenge, we leverage the gradient flow interpretation of score distillation to propose Repulsive Score Distillation (RSD). In particular, we propose a variational framework based on repulsion of an ensemble of particles that promotes diversity. Using a variational approximation that incorporates a coupling among particles, the repulsion appears as a simple regularization that allows interaction of particles based on their relative pairwise similarity, measured e.g., via radial basis kernels. We design RSD for both unconstrained and constrained sampling scenarios. For constrained sampling we focus on inverse problems in the latent space that leads to an augmented variational formulation, that strikes a good balance between compute, quality and diversity. Our extensive experiments for text-to-image generation, and inverse problems demonstrate that RSD achieves a superior trade-off between diversity and quality compared with state-of-the-art alternatives.