Gefaseerd Consistentiemodel

Samenvatting

Het consistentiemodel (CM) heeft recentelijk aanzienlijke vooruitgang geboekt in het versnellen van de generatie van diffusiemodellen. De toepassing ervan op hoogwaardige, tekstgeconditioneerde beeldgeneratie in de latente ruimte (ook wel LCM genoemd) blijft echter onbevredigend. In dit artikel identificeren we drie belangrijke tekortkomingen in het huidige ontwerp van LCM. We onderzoeken de redenen achter deze beperkingen en stellen het Gefaseerd Consistentiemodel (PCM) voor, dat de ontwerpruimte verbreedt en alle geïdentificeerde beperkingen aanpakt. Onze evaluaties tonen aan dat PCM aanzienlijk beter presteert dan LCM in generatie-instellingen van 1–16 stappen. Hoewel PCM specifiek is ontworpen voor meerstapsverfijning, behaalt het zelfs superieure of vergelijkbare resultaten voor 1-stapsgeneratie in vergelijking met eerder state-of-the-art methoden die specifiek voor 1-stapsgeneratie zijn ontworpen. Bovendien laten we zien dat de methodologie van PCM veelzijdig is en toepasbaar op videogeneratie, waardoor we de state-of-the-art tekst-naar-videogenerator met weinig stappen kunnen trainen. Meer details zijn beschikbaar op https://g-u-n.github.io/projects/pcm/.

English

The consistency model (CM) has recently made significant progress in accelerating the generation of diffusion models. However, its application to high-resolution, text-conditioned image generation in the latent space (a.k.a., LCM) remains unsatisfactory. In this paper, we identify three key flaws in the current design of LCM. We investigate the reasons behind these limitations and propose the Phased Consistency Model (PCM), which generalizes the design space and addresses all identified limitations. Our evaluations demonstrate that PCM significantly outperforms LCM across 1--16 step generation settings. While PCM is specifically designed for multi-step refinement, it achieves even superior or comparable 1-step generation results to previously state-of-the-art specifically designed 1-step methods. Furthermore, we show that PCM's methodology is versatile and applicable to video generation, enabling us to train the state-of-the-art few-step text-to-video generator. More details are available at https://g-u-n.github.io/projects/pcm/.