Trajectorie Consistentie Distillatie

Samenvatting

Het Latent Consistency Model (LCM) breidt het Consistency Model uit naar de latente ruimte en maakt gebruik van de techniek van guided consistency distillation om indrukwekkende prestaties te behalen in het versnellen van tekst-naar-beeld synthese. We hebben echter geobserveerd dat LCM moeite heeft om afbeeldingen te genereren die zowel helderheid als gedetailleerde complexiteit vertonen. Om deze beperking aan te pakken, gaan we eerst in op de onderliggende oorzaken en lichten deze toe. Ons onderzoek identificeert dat het primaire probleem voortkomt uit fouten in drie verschillende gebieden. Als gevolg hiervan introduceren we Trajectory Consistency Distillation (TCD), dat bestaat uit een trajectconsistentiefunctie en strategische stochastische sampling. De trajectconsistentiefunctie vermindert de distillatiefouten door het bereik van de zelfconsistentie randvoorwaarde te verbreden en TCD de mogelijkheid te geven om het volledige traject van de Probability Flow ODE nauwkeurig te volgen. Daarnaast is strategische stochastische sampling specifiek ontworpen om de opgestapelde fouten die inherent zijn aan multi-step consistency sampling te omzeilen, en is zorgvuldig afgestemd om het TCD-model aan te vullen. Experimenten tonen aan dat TCD niet alleen de beeldkwaliteit aanzienlijk verbetert bij een laag aantal functie-evaluaties (NFEs), maar ook gedetailleerdere resultaten oplevert vergeleken met het lerarenmodel bij een hoog aantal NFEs.

English

Latent Consistency Model (LCM) extends the Consistency Model to the latent space and leverages the guided consistency distillation technique to achieve impressive performance in accelerating text-to-image synthesis. However, we observed that LCM struggles to generate images with both clarity and detailed intricacy. To address this limitation, we initially delve into and elucidate the underlying causes. Our investigation identifies that the primary issue stems from errors in three distinct areas. Consequently, we introduce Trajectory Consistency Distillation (TCD), which encompasses trajectory consistency function and strategic stochastic sampling. The trajectory consistency function diminishes the distillation errors by broadening the scope of the self-consistency boundary condition and endowing the TCD with the ability to accurately trace the entire trajectory of the Probability Flow ODE. Additionally, strategic stochastic sampling is specifically designed to circumvent the accumulated errors inherent in multi-step consistency sampling, which is meticulously tailored to complement the TCD model. Experiments demonstrate that TCD not only significantly enhances image quality at low NFEs but also yields more detailed results compared to the teacher model at high NFEs.