Destilação de Pontuação Repulsiva para Amostragem Diversificada de Modelos de Difusão

Repulsive Score Distillation for Diverse Sampling of Diffusion Models

June 24, 2024

Autores: Nicolas Zilberstein, Morteza Mardani, Santiago Segarra

cs.AI

Resumo

A amostragem de destilação de escore tem sido fundamental para integrar modelos de difusão na geração de visuais complexos. Apesar dos resultados impressionantes, ela sofre de colapso de modo e falta de diversidade. Para lidar com esse desafio, aproveitamos a interpretação do fluxo de gradiente da destilação de escore para propor a Destilação de Escore Repulsivo (RSD). Em particular, propomos um framework variacional baseado na repulsão de um conjunto de partículas que promove a diversidade. Utilizando uma aproximação variacional que incorpora um acoplamento entre as partículas, a repulsão aparece como uma regularização simples que permite a interação das partículas com base em sua similaridade relativa par a par, medida, por exemplo, via núcleos de base radial. Projetamos o RSD tanto para cenários de amostragem irrestrita quanto restrita. Para a amostragem restrita, focamos em problemas inversos no espaço latente que levam a uma formulação variacional aumentada, que alcança um bom equilíbrio entre computação, qualidade e diversidade. Nossos extensos experimentos para geração de texto para imagem e problemas inversos demonstram que o RSD alcança um trade-off superior entre diversidade e qualidade em comparação com alternativas de ponta.

English

Score distillation sampling has been pivotal for integrating diffusion models into generation of complex visuals. Despite impressive results it suffers from mode collapse and lack of diversity. To cope with this challenge, we leverage the gradient flow interpretation of score distillation to propose Repulsive Score Distillation (RSD). In particular, we propose a variational framework based on repulsion of an ensemble of particles that promotes diversity. Using a variational approximation that incorporates a coupling among particles, the repulsion appears as a simple regularization that allows interaction of particles based on their relative pairwise similarity, measured e.g., via radial basis kernels. We design RSD for both unconstrained and constrained sampling scenarios. For constrained sampling we focus on inverse problems in the latent space that leads to an augmented variational formulation, that strikes a good balance between compute, quality and diversity. Our extensive experiments for text-to-image generation, and inverse problems demonstrate that RSD achieves a superior trade-off between diversity and quality compared with state-of-the-art alternatives.