Modelos de Difusão Eficientes: Uma Pesquisa Abrangente dos Princípios às Práticas

Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

October 15, 2024

Autores: Zhiyuan Ma, Yuzhu Zhang, Guoli Jia, Liangliang Zhao, Yichao Ma, Mingjie Ma, Gaofeng Liu, Kaiyan Zhang, Jianjun Li, Bowen Zhou

cs.AI

Resumo

Como um dos modelos generativos mais populares e procurados nos últimos anos, os modelos de difusão têm despertado o interesse de muitos pesquisadores e demonstrado consistentemente excelentes vantagens em várias tarefas generativas, como síntese de imagens, geração de vídeos, design de moléculas, renderização de cenas 3D e geração multimodal, baseando-se em seus densos princípios teóricos e práticas de aplicação confiáveis. O notável sucesso desses esforços recentes em modelos de difusão advém em grande parte de princípios de design progressivos e de uma arquitetura eficiente, metodologias de treinamento, inferência e implantação. No entanto, ainda não houve uma revisão abrangente e aprofundada para resumir esses princípios e práticas a fim de auxiliar na compreensão e aplicação rápidas dos modelos de difusão. Nesta pesquisa, fornecemos uma nova perspectiva orientada para a eficiência sobre esses esforços existentes, que se concentra principalmente nos princípios profundos e práticas eficientes em projetos de arquitetura, treinamento de modelos, inferência rápida e implantação confiável, para orientar futuras pesquisas teóricas, migração de algoritmos e aplicação de modelos para novos cenários de forma acessível aos leitores.

English

As one of the most popular and sought-after generative models in the recent years, diffusion models have sparked the interests of many researchers and steadily shown excellent advantage in various generative tasks such as image synthesis, video generation, molecule design, 3D scene rendering and multimodal generation, relying on their dense theoretical principles and reliable application practices. The remarkable success of these recent efforts on diffusion models comes largely from progressive design principles and efficient architecture, training, inference, and deployment methodologies. However, there has not been a comprehensive and in-depth review to summarize these principles and practices to help the rapid understanding and application of diffusion models. In this survey, we provide a new efficiency-oriented perspective on these existing efforts, which mainly focuses on the profound principles and efficient practices in architecture designs, model training, fast inference and reliable deployment, to guide further theoretical research, algorithm migration and model application for new scenarios in a reader-friendly way. https://github.com/ponyzym/Efficient-DMs-Survey