Oltre U: Rendere i Modelli di Diffusione Più Veloci e Leggeri

Beyond U: Making Diffusion Models Faster & Lighter

October 31, 2023

Autori: Sergio Calvo-Ordonez, Jiahao Huang, Lipei Zhang, Guang Yang, Carola-Bibiane Schonlieb, Angelica I Aviles-Rivero

cs.AI

Abstract

I modelli di diffusione sono una famiglia di modelli generativi che raggiungono prestazioni record in compiti come la sintesi di immagini, la generazione di video e il design di molecole. Nonostante le loro capacità, la loro efficienza, in particolare nel processo inverso di rimozione del rumore, rimane una sfida a causa dei tassi di convergenza lenti e degli elevati costi computazionali. In questo lavoro, introduciamo un approccio che sfrutta sistemi dinamici continui per progettare una nuova rete di rimozione del rumore per i modelli di diffusione che è più efficiente in termini di parametri, mostra una convergenza più rapida e dimostra una maggiore robustezza al rumore. Sperimentando con modelli probabilistici di diffusione per la rimozione del rumore, il nostro framework opera con circa un quarto dei parametri e il 30% delle operazioni in virgola mobile (FLOPs) rispetto alle U-Net standard nei Modelli Probabilistici di Diffusione per la Rimozione del Rumore (DDPM). Inoltre, il nostro modello è fino al 70% più veloce nell'inferenza rispetto ai modelli di riferimento quando misurato in condizioni uguali, convergendo verso soluzioni di qualità superiore.

English

Diffusion models are a family of generative models that yield record-breaking performance in tasks such as image synthesis, video generation, and molecule design. Despite their capabilities, their efficiency, especially in the reverse denoising process, remains a challenge due to slow convergence rates and high computational costs. In this work, we introduce an approach that leverages continuous dynamical systems to design a novel denoising network for diffusion models that is more parameter-efficient, exhibits faster convergence, and demonstrates increased noise robustness. Experimenting with denoising probabilistic diffusion models, our framework operates with approximately a quarter of the parameters and 30% of the Floating Point Operations (FLOPs) compared to standard U-Nets in Denoising Diffusion Probabilistic Models (DDPMs). Furthermore, our model is up to 70% faster in inference than the baseline models when measured in equal conditions while converging to better quality solutions.