Дистилляция оценок отталкивания для разнообразной выборки моделей диффузии

Repulsive Score Distillation for Diverse Sampling of Diffusion Models

June 24, 2024

Авторы: Nicolas Zilberstein, Morteza Mardani, Santiago Segarra

cs.AI

Аннотация

Сэмплирование дистилляции скоринга имеет решающее значение для интеграции моделей диффузии в генерацию сложных визуальных данных. Несмотря на впечатляющие результаты, оно сталкивается с проблемой коллапса режима и недостатком разнообразия. Для преодоления этого вызова мы используем интерпретацию градиентного потока дистилляции скоринга для предложения Репульсивной Дистилляции Скоринга (RSD). В частности, мы предлагаем вариационную структуру на основе отталкивания ансамбля частиц, способствующую разнообразию. С использованием вариационного приближения, которое включает в себя взаимодействие между частицами, отталкивание проявляется как простая регуляризация, позволяющая взаимодействие частиц на основе их относительной парной схожести, измеряемой, например, с помощью радиальных базисных ядер. Мы разрабатываем RSD как для неконтролируемых, так и для контролируемых сценариев сэмплирования. Для контролируемого сэмплирования мы сосредотачиваемся на обратных задачах в пространстве латентных переменных, что приводит к расширенной вариационной формулировке, достигающей хорошего баланса между вычислительной сложностью, качеством и разнообразием. Наши обширные эксперименты по генерации текста в изображения и обратным задачам демонстрируют, что RSD достигает превосходного компромисса между разнообразием и качеством по сравнению с альтернативами последнего поколения.

English

Score distillation sampling has been pivotal for integrating diffusion models into generation of complex visuals. Despite impressive results it suffers from mode collapse and lack of diversity. To cope with this challenge, we leverage the gradient flow interpretation of score distillation to propose Repulsive Score Distillation (RSD). In particular, we propose a variational framework based on repulsion of an ensemble of particles that promotes diversity. Using a variational approximation that incorporates a coupling among particles, the repulsion appears as a simple regularization that allows interaction of particles based on their relative pairwise similarity, measured e.g., via radial basis kernels. We design RSD for both unconstrained and constrained sampling scenarios. For constrained sampling we focus on inverse problems in the latent space that leads to an augmented variational formulation, that strikes a good balance between compute, quality and diversity. Our extensive experiments for text-to-image generation, and inverse problems demonstrate that RSD achieves a superior trade-off between diversity and quality compared with state-of-the-art alternatives.