Jenseits von U: Diffusion-Modelle schneller und leichter machen

Beyond U: Making Diffusion Models Faster & Lighter

October 31, 2023

papers.authors: Sergio Calvo-Ordonez, Jiahao Huang, Lipei Zhang, Guang Yang, Carola-Bibiane Schonlieb, Angelica I Aviles-Rivero

cs.AI

papers.abstract

Diffusionsmodelle sind eine Familie von generativen Modellen, die bahnbrechende Leistungen in Aufgaben wie Bildsynthese, Videogenerierung und Moleküldesign erzielen. Trotz ihrer Fähigkeiten bleibt ihre Effizienz, insbesondere im umgekehrten Entrauschungsprozess, eine Herausforderung aufgrund langsamer Konvergenzraten und hoher Rechenkosten. In dieser Arbeit stellen wir einen Ansatz vor, der kontinuierliche dynamische Systeme nutzt, um ein neuartiges Entrauschungsnetzwerk für Diffusionsmodelle zu entwerfen, das parameter-effizienter ist, eine schnellere Konvergenz aufweist und eine erhöhte Rauschrobustheit demonstriert. Bei Experimenten mit entrauschenden probabilistischen Diffusionsmodellen arbeitet unser Framework mit etwa einem Viertel der Parameter und 30 % der Floating Point Operations (FLOPs) im Vergleich zu Standard-U-Nets in Denoising Diffusion Probabilistic Models (DDPMs). Darüber hinaus ist unser Modell unter gleichen Bedingungen bis zu 70 % schneller in der Inferenz als die Baseline-Modelle und konvergiert zu Lösungen von besserer Qualität.

English

Diffusion models are a family of generative models that yield record-breaking performance in tasks such as image synthesis, video generation, and molecule design. Despite their capabilities, their efficiency, especially in the reverse denoising process, remains a challenge due to slow convergence rates and high computational costs. In this work, we introduce an approach that leverages continuous dynamical systems to design a novel denoising network for diffusion models that is more parameter-efficient, exhibits faster convergence, and demonstrates increased noise robustness. Experimenting with denoising probabilistic diffusion models, our framework operates with approximately a quarter of the parameters and 30% of the Floating Point Operations (FLOPs) compared to standard U-Nets in Denoising Diffusion Probabilistic Models (DDPMs). Furthermore, our model is up to 70% faster in inference than the baseline models when measured in equal conditions while converging to better quality solutions.