ChatPaper.aiChatPaper

Ein-Schritt-Diffusionsmodelle mit f-Divergenz-Verteilungsanpassung

One-step Diffusion Models with f-Divergence Distribution Matching

February 21, 2025
Autoren: Yilun Xu, Weili Nie, Arash Vahdat
cs.AI

Zusammenfassung

Das Sampling aus Diffusionsmodellen ist ein langsamer iterativer Prozess, der deren praktischen Einsatz, insbesondere in interaktiven Anwendungen, behindert. Um die Generierungsgeschwindigkeit zu beschleunigen, haben neuere Ansätze ein mehrstufiges Diffusionsmodell in einen einstufigen Studenten-Generator durch variationales Score-Distillation destilliert, wobei die Verteilung der vom Studenten generierten Samples an die Verteilung des Lehrers angepasst wird. Diese Ansätze verwenden jedoch die umgekehrte Kullback-Leibler (KL)-Divergenz für die Verteilungsanpassung, die dafür bekannt ist, modusorientiert zu sein. In dieser Arbeit verallgemeinern wir den Ansatz der Verteilungsanpassung durch ein neuartiges f-Divergenz-Minimierungs-Framework, genannt f-distill, das verschiedene Divergenzen mit unterschiedlichen Kompromissen in Bezug auf Modusabdeckung und Trainingsvarianz abdeckt. Wir leiten den Gradienten der f-Divergenz zwischen den Verteilungen des Lehrers und des Studenten ab und zeigen, dass er als Produkt ihrer Score-Differenzen und einer Gewichtungsfunktion, die durch ihr Dichteverhältnis bestimmt wird, ausgedrückt wird. Diese Gewichtungsfunktion betont natürlicherweise Samples mit höherer Dichte in der Lehrer-Verteilung, wenn eine weniger modusorientierte Divergenz verwendet wird. Wir stellen fest, dass der populäre Ansatz der variablen Score-Distillation unter Verwendung der umgekehrten KL-Divergenz ein Spezialfall innerhalb unseres Frameworks ist. Empirisch zeigen wir, dass alternative f-Divergenzen, wie die vorwärtsgerichtete KL- und die Jensen-Shannon-Divergenz, die derzeit besten Methoden der variablen Score-Distillation in Bildgenerierungsaufgaben übertreffen. Insbesondere erreicht f-distill bei Verwendung der Jensen-Shannon-Divergenz den derzeitigen Stand der Technik in der einstufigen Generierung auf ImageNet64 und in der Null-Shot-Text-zu-Bild-Generierung auf MS-COCO. Projektseite: https://research.nvidia.com/labs/genair/f-distill
English
Sampling from diffusion models involves a slow iterative process that hinders their practical deployment, especially for interactive applications. To accelerate generation speed, recent approaches distill a multi-step diffusion model into a single-step student generator via variational score distillation, which matches the distribution of samples generated by the student to the teacher's distribution. However, these approaches use the reverse Kullback-Leibler (KL) divergence for distribution matching which is known to be mode seeking. In this paper, we generalize the distribution matching approach using a novel f-divergence minimization framework, termed f-distill, that covers different divergences with different trade-offs in terms of mode coverage and training variance. We derive the gradient of the f-divergence between the teacher and student distributions and show that it is expressed as the product of their score differences and a weighting function determined by their density ratio. This weighting function naturally emphasizes samples with higher density in the teacher distribution, when using a less mode-seeking divergence. We observe that the popular variational score distillation approach using the reverse-KL divergence is a special case within our framework. Empirically, we demonstrate that alternative f-divergences, such as forward-KL and Jensen-Shannon divergences, outperform the current best variational score distillation methods across image generation tasks. In particular, when using Jensen-Shannon divergence, f-distill achieves current state-of-the-art one-step generation performance on ImageNet64 and zero-shot text-to-image generation on MS-COCO. Project page: https://research.nvidia.com/labs/genair/f-distill

Summary

AI-Generated Summary

PDF72February 24, 2025