Modelli di Diffusione Efficienti: Un'Indagine Approfondita dai Principi alle Pratiche

Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

October 15, 2024

Autori: Zhiyuan Ma, Yuzhu Zhang, Guoli Jia, Liangliang Zhao, Yichao Ma, Mingjie Ma, Gaofeng Liu, Kaiyan Zhang, Jianjun Li, Bowen Zhou

cs.AI

Abstract

Come uno dei modelli generativi più popolari e ricercati degli ultimi anni, i modelli di diffusione hanno suscitato l'interesse di molti ricercatori e hanno costantemente dimostrato eccellenti vantaggi in varie attività generative come la sintesi di immagini, la generazione di video, la progettazione di molecole, il rendering di scene 3D e la generazione multimodale, basandosi sui loro densi principi teorici e affidabili pratiche applicative. Il notevole successo di questi recenti sforzi sui modelli di diffusione deriva principalmente dai progressivi principi progettuali e dall'efficiente architettura, metodologie di addestramento, inferenza e distribuzione. Tuttavia, non è stata ancora condotta una revisione completa e approfondita per riassumere questi principi e pratiche al fine di facilitare la comprensione e l'applicazione rapida dei modelli di diffusione. In questa indagine, forniamo una nuova prospettiva orientata all'efficienza su questi sforzi esistenti, che si concentra principalmente sui principi profondi e sulle pratiche efficienti nei design architetturali, nell'addestramento del modello, nell'inferenza veloce e nella distribuzione affidabile, per guidare ulteriori ricerche teoriche, migrazioni di algoritmi e applicazioni di modelli per nuovi scenari in modo accessibile ai lettori. https://github.com/ponyzym/Efficient-DMs-Survey

English

As one of the most popular and sought-after generative models in the recent years, diffusion models have sparked the interests of many researchers and steadily shown excellent advantage in various generative tasks such as image synthesis, video generation, molecule design, 3D scene rendering and multimodal generation, relying on their dense theoretical principles and reliable application practices. The remarkable success of these recent efforts on diffusion models comes largely from progressive design principles and efficient architecture, training, inference, and deployment methodologies. However, there has not been a comprehensive and in-depth review to summarize these principles and practices to help the rapid understanding and application of diffusion models. In this survey, we provide a new efficiency-oriented perspective on these existing efforts, which mainly focuses on the profound principles and efficient practices in architecture designs, model training, fast inference and reliable deployment, to guide further theoretical research, algorithm migration and model application for new scenarios in a reader-friendly way. https://github.com/ponyzym/Efficient-DMs-Survey