Phasen-Konsistenzmodell

Phased Consistency Model

May 28, 2024

Autoren: Fu-Yun Wang, Zhaoyang Huang, Alexander William Bergman, Dazhong Shen, Peng Gao, Michael Lingelbach, Keqiang Sun, Weikang Bian, Guanglu Song, Yu Liu, Hongsheng Li, Xiaogang Wang

cs.AI

Zusammenfassung

Das Konsistenzmodell (CM) hat in letzter Zeit signifikante Fortschritte bei der Beschleunigung der Generierung von Diffusionsmodellen gemacht. Allerdings bleibt seine Anwendung auf die hochauflösende, textbedingte Bildgenerierung im latenten Raum (auch bekannt als LCM) unbefriedigend. In diesem Artikel identifizieren wir drei wesentliche Mängel im aktuellen Design des LCM. Wir untersuchen die Gründe für diese Einschränkungen und schlagen das Phased Consistency Model (PCM) vor, das den Designraum verallgemeinert und alle identifizierten Einschränkungen angeht. Unsere Bewertungen zeigen, dass PCM bei Einstellungen zur Generierung von 1 bis 16 Schritten signifikant besser abschneidet als LCM. Obwohl PCM speziell für die Mehrschrittverfeinerung konzipiert ist, erzielt es sogar überlegene oder vergleichbare Ergebnisse bei der 1-Schritt-Generierung im Vergleich zu zuvor führenden speziell konzipierten 1-Schritt-Methoden. Darüber hinaus zeigen wir, dass die Methodik von PCM vielseitig ist und auf die Videogenerierung anwendbar ist, was es uns ermöglicht, den führenden wenige-Schritt-Text-zu-Video-Generator zu trainieren. Weitere Details finden Sie unter https://g-u-n.github.io/projects/pcm/.

English

The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.