Modèles de Diffusion Efficaces : Une Étude Complète des Principes aux Pratiques

Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

October 15, 2024

Auteurs: Zhiyuan Ma, Yuzhu Zhang, Guoli Jia, Liangliang Zhao, Yichao Ma, Mingjie Ma, Gaofeng Liu, Kaiyan Zhang, Jianjun Li, Bowen Zhou

cs.AI

Résumé

En tant que l'un des modèles génératifs les plus populaires et recherchés ces dernières années, les modèles de diffusion ont suscité l'intérêt de nombreux chercheurs et ont régulièrement démontré d'excellents avantages dans diverses tâches génératives telles que la synthèse d'images, la génération de vidéos, la conception de molécules, le rendu de scènes 3D et la génération multimodale, en s'appuyant sur leurs principes théoriques denses et leurs pratiques d'application fiables. Le succès remarquable de ces récents efforts sur les modèles de diffusion provient largement de principes de conception progressifs et d'une architecture, d'une formation, d'une inférence et de méthodologies de déploiement efficaces. Cependant, il n'y a pas eu de revue complète et approfondie pour résumer ces principes et pratiques afin d'aider à la compréhension et à l'application rapides des modèles de diffusion. Dans cette étude, nous proposons une nouvelle perspective axée sur l'efficacité sur ces efforts existants, qui se concentre principalement sur les principes profonds et les pratiques efficaces dans les conceptions d'architecture, la formation de modèles, l'inférence rapide et le déploiement fiable, pour guider de nouvelles recherches théoriques, la migration d'algorithmes et l'application de modèles pour de nouveaux scénarios de manière accessible aux lecteurs. https://github.com/ponyzym/Efficient-DMs-Survey

English

As one of the most popular and sought-after generative models in the recent years, diffusion models have sparked the interests of many researchers and steadily shown excellent advantage in various generative tasks such as image synthesis, video generation, molecule design, 3D scene rendering and multimodal generation, relying on their dense theoretical principles and reliable application practices. The remarkable success of these recent efforts on diffusion models comes largely from progressive design principles and efficient architecture, training, inference, and deployment methodologies. However, there has not been a comprehensive and in-depth review to summarize these principles and practices to help the rapid understanding and application of diffusion models. In this survey, we provide a new efficiency-oriented perspective on these existing efforts, which mainly focuses on the profound principles and efficient practices in architecture designs, model training, fast inference and reliable deployment, to guide further theoretical research, algorithm migration and model application for new scenarios in a reader-friendly way. https://github.com/ponyzym/Efficient-DMs-Survey