Modèle de Cohérence par Phases

Phased Consistency Model

May 28, 2024

Auteurs: Fu-Yun Wang, Zhaoyang Huang, Alexander William Bergman, Dazhong Shen, Peng Gao, Michael Lingelbach, Keqiang Sun, Weikang Bian, Guanglu Song, Yu Liu, Hongsheng Li, Xiaogang Wang

cs.AI

Résumé

Le modèle de cohérence (Consistency Model, CM) a récemment réalisé des progrès significatifs dans l'accélération de la génération des modèles de diffusion. Cependant, son application à la génération d'images haute résolution conditionnées par du texte dans l'espace latent (appelé LCM) reste insatisfaisante. Dans cet article, nous identifions trois défauts majeurs dans la conception actuelle du LCM. Nous examinons les raisons de ces limitations et proposons le Modèle de Cohérence Phasé (Phased Consistency Model, PCM), qui généralise l'espace de conception et résout toutes les limitations identifiées. Nos évaluations démontrent que le PCM surpasse significativement le LCM dans des configurations de génération de 1 à 16 étapes. Bien que le PCM soit spécifiquement conçu pour un raffinement multi-étapes, il atteint des résultats de génération en une étape supérieurs ou comparables aux méthodes précédemment considérées comme état de l'art et spécialement conçues pour une seule étape. De plus, nous montrons que la méthodologie du PCM est polyvalente et applicable à la génération de vidéos, nous permettant d'entraîner un générateur texte-à-vidéo en quelques étapes, actuellement considéré comme état de l'art. Plus de détails sont disponibles à l'adresse suivante : https://g-u-n.github.io/projects/pcm/.

English

The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.