Эффективные модели диффузии: Комплексный обзор от принципов к практике

Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

October 15, 2024

Авторы: Zhiyuan Ma, Yuzhu Zhang, Guoli Jia, Liangliang Zhao, Yichao Ma, Mingjie Ma, Gaofeng Liu, Kaiyan Zhang, Jianjun Li, Bowen Zhou

cs.AI

Аннотация

В качестве одной из самых популярных и востребованных генеративных моделей в последние годы диффузионные модели привлекли интерес многих исследователей и постоянно проявляли превосходные преимущества в различных генеративных задачах, таких как синтез изображений, генерация видео, дизайн молекул, визуализация трехмерных сцен и мультимодальная генерация, опираясь на свои плотные теоретические принципы и надежные практики применения. Значительный успех этих недавних усилий по диффузионным моделям в значительной степени обусловлен прогрессивными принципами проектирования и эффективной архитектурой, методами обучения, вывода и развертывания. Однако до сих пор не было всестороннего и глубокого обзора для обобщения этих принципов и практик с целью облегчения быстрого понимания и применения диффузионных моделей. В этом обзоре мы предлагаем новую ориентированную на эффективность перспективу на эти существующие усилия, которая в основном сосредотачивается на глубоких принципах и эффективных практиках в проектировании архитектуры, обучении модели, быстром выводе и надежном развертывании, чтобы направить дальнейшие теоретические исследования, миграцию алгоритмов и применение моделей для новых сценариев способом, доступным для читателя.

English

As one of the most popular and sought-after generative models in the recent years, diffusion models have sparked the interests of many researchers and steadily shown excellent advantage in various generative tasks such as image synthesis, video generation, molecule design, 3D scene rendering and multimodal generation, relying on their dense theoretical principles and reliable application practices. The remarkable success of these recent efforts on diffusion models comes largely from progressive design principles and efficient architecture, training, inference, and deployment methodologies. However, there has not been a comprehensive and in-depth review to summarize these principles and practices to help the rapid understanding and application of diffusion models. In this survey, we provide a new efficiency-oriented perspective on these existing efforts, which mainly focuses on the profound principles and efficient practices in architecture designs, model training, fast inference and reliable deployment, to guide further theoretical research, algorithm migration and model application for new scenarios in a reader-friendly way. https://github.com/ponyzym/Efficient-DMs-Survey