Au-delà de U : Rendre les modèles de diffusion plus rapides et plus légers

Beyond U: Making Diffusion Models Faster & Lighter

October 31, 2023

Auteurs: Sergio Calvo-Ordonez, Jiahao Huang, Lipei Zhang, Guang Yang, Carola-Bibiane Schonlieb, Angelica I Aviles-Rivero

cs.AI

Résumé

Les modèles de diffusion constituent une famille de modèles génératifs qui atteignent des performances record dans des tâches telles que la synthèse d'images, la génération de vidéos et la conception de molécules. Malgré leurs capacités, leur efficacité, en particulier dans le processus inverse de débruitage, reste un défi en raison de taux de convergence lents et de coûts de calcul élevés. Dans ce travail, nous introduisons une approche qui exploite les systèmes dynamiques continus pour concevoir un nouveau réseau de débruitage pour les modèles de diffusion, plus efficace en termes de paramètres, présentant une convergence plus rapide et démontrant une robustesse accrue au bruit. En expérimentant avec des modèles de diffusion probabilistes de débruitage, notre framework fonctionne avec environ un quart des paramètres et 30 % des opérations en virgule flottante (FLOPs) par rapport aux U-Nets standards dans les modèles de diffusion probabilistes de débruitage (DDPMs). De plus, notre modèle est jusqu'à 70 % plus rapide en inférence que les modèles de référence dans des conditions égales, tout en convergeant vers des solutions de meilleure qualité.

English

Diffusion models are a family of generative models that yield record-breaking performance in tasks such as image synthesis, video generation, and molecule design. Despite their capabilities, their efficiency, especially in the reverse denoising process, remains a challenge due to slow convergence rates and high computational costs. In this work, we introduce an approach that leverages continuous dynamical systems to design a novel denoising network for diffusion models that is more parameter-efficient, exhibits faster convergence, and demonstrates increased noise robustness. Experimenting with denoising probabilistic diffusion models, our framework operates with approximately a quarter of the parameters and 30% of the Floating Point Operations (FLOPs) compared to standard U-Nets in Denoising Diffusion Probabilistic Models (DDPMs). Furthermore, our model is up to 70% faster in inference than the baseline models when measured in equal conditions while converging to better quality solutions.