Дистилляция последовательности траекторий

Аннотация

Модель скрытой согласованности (LCM) расширяет модель согласованности на скрытое пространство и использует технику направленной дистилляции согласованности для достижения впечатляющей производительности в ускорении синтеза текста в изображение. Однако мы обнаружили, что LCM испытывает затруднения при создании изображений с четкостью и детальной сложностью. Для решения этого ограничения мы вначале погружаемся в изучение и пояснение основных причин. Наше исследование выявляет, что основная проблема происходит из ошибок в трех различных областях. В результате мы представляем Траекторную дистилляцию согласованности (TCD), которая включает функцию траекторной согласованности и стратегическую стохастическую выборку. Функция траекторной согласованности уменьшает ошибки дистилляции, расширяя область условия самосогласованности и наделяя TCD способностью точно проследить всю траекторию уравнения ОДЕ потока вероятности. Кроме того, стратегическая стохастическая выборка специально разработана для обхода накапливающихся ошибок, присущих многошаговой выборке согласованности, которая тщательно настроена для дополнения модели TCD. Эксперименты показывают, что TCD не только значительно улучшает качество изображений при низких NFE, но также дает более детальные результаты по сравнению с учителем при высоких NFE.

English

Latent Consistency Model (LCM) extends the Consistency Model to the latent space and leverages the guided consistency distillation technique to achieve impressive performance in accelerating text-to-image synthesis. However, we observed that LCM struggles to generate images with both clarity and detailed intricacy. To address this limitation, we initially delve into and elucidate the underlying causes. Our investigation identifies that the primary issue stems from errors in three distinct areas. Consequently, we introduce Trajectory Consistency Distillation (TCD), which encompasses trajectory consistency function and strategic stochastic sampling. The trajectory consistency function diminishes the distillation errors by broadening the scope of the self-consistency boundary condition and endowing the TCD with the ability to accurately trace the entire trajectory of the Probability Flow ODE. Additionally, strategic stochastic sampling is specifically designed to circumvent the accumulated errors inherent in multi-step consistency sampling, which is meticulously tailored to complement the TCD model. Experiments demonstrate that TCD not only significantly enhances image quality at low NFEs but also yields more detailed results compared to the teacher model at high NFEs.