Modelos de Difusión Eficientes: Un Estudio Exhaustivo desde los Principios hasta las Prácticas

Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

October 15, 2024

Autores: Zhiyuan Ma, Yuzhu Zhang, Guoli Jia, Liangliang Zhao, Yichao Ma, Mingjie Ma, Gaofeng Liu, Kaiyan Zhang, Jianjun Li, Bowen Zhou

cs.AI

Resumen

Como uno de los modelos generativos más populares y buscados en los últimos años, los modelos de difusión han despertado el interés de muchos investigadores y han demostrado de manera constante una excelente ventaja en diversas tareas generativas como la síntesis de imágenes, generación de videos, diseño de moléculas, renderizado de escenas 3D y generación multimodal, basándose en sus densos principios teóricos y prácticas de aplicación confiables. El notable éxito de estos esfuerzos recientes en los modelos de difusión proviene en gran medida de los principios de diseño progresivo y de una arquitectura eficiente, así como de metodologías de entrenamiento, inferencia y despliegue. Sin embargo, no ha habido una revisión exhaustiva y profunda que resuma estos principios y prácticas para ayudar a la comprensión y aplicación rápidas de los modelos de difusión. En esta encuesta, proporcionamos una nueva perspectiva orientada a la eficiencia sobre estos esfuerzos existentes, que se centra principalmente en los principios profundos y prácticas eficientes en los diseños de arquitectura, entrenamiento de modelos, inferencia rápida y despliegue confiable, para guiar futuras investigaciones teóricas, migración de algoritmos y aplicación de modelos para nuevos escenarios de una manera amigable para el lector.

English

As one of the most popular and sought-after generative models in the recent years, diffusion models have sparked the interests of many researchers and steadily shown excellent advantage in various generative tasks such as image synthesis, video generation, molecule design, 3D scene rendering and multimodal generation, relying on their dense theoretical principles and reliable application practices. The remarkable success of these recent efforts on diffusion models comes largely from progressive design principles and efficient architecture, training, inference, and deployment methodologies. However, there has not been a comprehensive and in-depth review to summarize these principles and practices to help the rapid understanding and application of diffusion models. In this survey, we provide a new efficiency-oriented perspective on these existing efforts, which mainly focuses on the profound principles and efficient practices in architecture designs, model training, fast inference and reliable deployment, to guide further theoretical research, algorithm migration and model application for new scenarios in a reader-friendly way. https://github.com/ponyzym/Efficient-DMs-Survey