Modelo de Consistencia por Fases

Resumen

El modelo de consistencia (CM, por sus siglas en inglés) ha logrado avances significativos recientemente en la aceleración de la generación de modelos de difusión. Sin embargo, su aplicación en la generación de imágenes de alta resolución condicionadas por texto en el espacio latente (conocido como LCM) sigue siendo insatisfactoria. En este artículo, identificamos tres fallas clave en el diseño actual del LCM. Investigamos las razones detrás de estas limitaciones y proponemos el Modelo de Consistencia por Fases (PCM, por sus siglas en inglés), que generaliza el espacio de diseño y aborda todas las limitaciones identificadas. Nuestras evaluaciones demuestran que el PCM supera significativamente al LCM en configuraciones de generación de 1 a 16 pasos. Aunque el PCM está específicamente diseñado para el refinamiento en múltiples pasos, logra resultados incluso superiores o comparables en la generación de un solo paso con respecto a métodos de un solo paso previamente considerados como estado del arte. Además, mostramos que la metodología del PCM es versátil y aplicable a la generación de videos, lo que nos permite entrenar el generador de texto a video de pocos pasos más avanzado hasta la fecha. Más detalles están disponibles en https://g-u-n.github.io/projects/pcm/.

English

The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.