Modelo de Consistência em Fases

Resumo

O modelo de consistência (CM) tem recentemente feito progressos significativos na aceleração da geração de modelos de difusão. No entanto, sua aplicação na geração de imagens de alta resolução condicionadas por texto no espaço latente (conhecido como LCM) ainda é insatisfatória. Neste artigo, identificamos três falhas principais no design atual do LCM. Investigamos as razões por trás dessas limitações e propomos o Modelo de Consistência Faseado (PCM), que generaliza o espaço de design e aborda todas as limitações identificadas. Nossas avaliações demonstram que o PCM supera significativamente o LCM em configurações de geração de 1 a 16 passos. Embora o PCM seja especificamente projetado para refinamento em múltiplos passos, ele alcança resultados de geração em 1 passo superiores ou comparáveis aos métodos de última geração projetados especificamente para 1 passo. Além disso, mostramos que a metodologia do PCM é versátil e aplicável à geração de vídeos, permitindo-nos treinar o gerador de texto para vídeo de última geração com poucos passos. Mais detalhes estão disponíveis em https://g-u-n.github.io/projects/pcm/.

English

The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.