Модель фазовой согласованности

Аннотация

Модель согласованности (CM) недавно сделала значительный прогресс в ускорении генерации моделей диффузии. Однако ее применение к генерации изображений, зависящих от текста, высокого разрешения в латентном пространстве (так называемая LCM), остается неудовлетворительным. В данной статье мы выявляем три ключевых недостатка в текущем дизайне LCM. Мы исследуем причины этих ограничений и предлагаем Модель Фазовой Согласованности (PCM), которая обобщает пространство дизайна и устраняет все выявленные недостатки. Наши оценки показывают, что PCM значительно превосходит LCM настройках генерации от 1 до 16 шагов. Хотя PCM специально разработана для многошагового уточнения, она достигает даже более высоких или сравнимых результатов генерации на 1 шаге по сравнению с ранее передовыми методами, специально разработанными для генерации на 1 шаге. Более того, мы показываем, что методология PCM универсальна и применима к генерации видео, что позволяет нам обучить передовой генератор текста в видео на несколько шагов. Более подробная информация доступна на https://g-u-n.github.io/projects/pcm/.

English

The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.