За пределами U: Ускорение и облегчение диффузионных моделей

Beyond U: Making Diffusion Models Faster & Lighter

October 31, 2023

Авторы: Sergio Calvo-Ordonez, Jiahao Huang, Lipei Zhang, Guang Yang, Carola-Bibiane Schonlieb, Angelica I Aviles-Rivero

cs.AI

Аннотация

Диффузионные модели представляют собой семейство генеративных моделей, демонстрирующих рекордные результаты в таких задачах, как синтез изображений, генерация видео и проектирование молекул. Несмотря на их возможности, их эффективность, особенно в процессе обратного удаления шума, остается проблемой из-за медленной скорости сходимости и высоких вычислительных затрат. В данной работе мы представляем подход, который использует непрерывные динамические системы для создания новой сети удаления шума для диффузионных моделей, которая является более параметрически эффективной, демонстрирует более быструю сходимость и повышенную устойчивость к шуму. Экспериментируя с вероятностными диффузионными моделями удаления шума, наш фреймворк работает примерно с четвертью параметров и 30% операций с плавающей запятой (FLOPs) по сравнению со стандартными U-Net в моделях Denoising Diffusion Probabilistic Models (DDPMs). Кроме того, наша модель до 70% быстрее в процессе вывода, чем базовые модели, при измерении в равных условиях, при этом сходится к решениям более высокого качества.

English

Diffusion models are a family of generative models that yield record-breaking performance in tasks such as image synthesis, video generation, and molecule design. Despite their capabilities, their efficiency, especially in the reverse denoising process, remains a challenge due to slow convergence rates and high computational costs. In this work, we introduce an approach that leverages continuous dynamical systems to design a novel denoising network for diffusion models that is more parameter-efficient, exhibits faster convergence, and demonstrates increased noise robustness. Experimenting with denoising probabilistic diffusion models, our framework operates with approximately a quarter of the parameters and 30% of the Floating Point Operations (FLOPs) compared to standard U-Nets in Denoising Diffusion Probabilistic Models (DDPMs). Furthermore, our model is up to 70% faster in inference than the baseline models when measured in equal conditions while converging to better quality solutions.