Effiziente Diffusionsmodelle: Eine umfassende Untersuchung von Grundlagen bis zur Anwendung

Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

October 15, 2024

Autoren: Zhiyuan Ma, Yuzhu Zhang, Guoli Jia, Liangliang Zhao, Yichao Ma, Mingjie Ma, Gaofeng Liu, Kaiyan Zhang, Jianjun Li, Bowen Zhou

cs.AI

Zusammenfassung

Als eine der beliebtesten und gefragtesten generativen Modelle in den letzten Jahren haben Diffusionsmodelle das Interesse vieler Forscher geweckt und kontinuierlich hervorragende Vorteile in verschiedenen generativen Aufgaben wie Bildsynthese, Videogenerierung, Moleküldesign, 3D-Szenen-Rendering und multimodale Generierung gezeigt, basierend auf ihren dichten theoretischen Prinzipien und zuverlässigen Anwendungspraktiken. Der bemerkenswerte Erfolg dieser jüngsten Bemühungen im Bereich der Diffusionsmodelle resultiert größtenteils aus progressiven Designprinzipien und effizienten Architekturen, Schulungs-, Inferenz- und Bereitstellungsmethoden. Es gab jedoch bisher keine umfassende und tiefgreifende Überprüfung, um diese Prinzipien und Praktiken zusammenzufassen, um das schnelle Verständnis und die Anwendung von Diffusionsmodellen zu unterstützen. In dieser Umfrage bieten wir eine neue, auf Effizienz ausgerichtete Perspektive auf diese bestehenden Bemühungen, die sich hauptsächlich auf die tiefgreifenden Prinzipien und effizienten Praktiken in Architekturentwürfen, Modellschulung, schnelle Inferenz und zuverlässige Bereitstellung konzentriert, um weitere theoretische Forschung, Algorithmusmigration und Modellanwendung für neue Szenarien auf benutzerfreundliche Weise zu leiten.

English

As one of the most popular and sought-after generative models in the recent years, diffusion models have sparked the interests of many researchers and steadily shown excellent advantage in various generative tasks such as image synthesis, video generation, molecule design, 3D scene rendering and multimodal generation, relying on their dense theoretical principles and reliable application practices. The remarkable success of these recent efforts on diffusion models comes largely from progressive design principles and efficient architecture, training, inference, and deployment methodologies. However, there has not been a comprehensive and in-depth review to summarize these principles and practices to help the rapid understanding and application of diffusion models. In this survey, we provide a new efficiency-oriented perspective on these existing efforts, which mainly focuses on the profound principles and efficient practices in architecture designs, model training, fast inference and reliable deployment, to guide further theoretical research, algorithm migration and model application for new scenarios in a reader-friendly way. https://github.com/ponyzym/Efficient-DMs-Survey