Distilación de Consistencia de Trayectoria

Resumen

El Modelo de Consistencia Latente (LCM, por sus siglas en inglés) extiende el Modelo de Consistencia al espacio latente y aprovecha la técnica de destilación de consistencia guiada para lograr un rendimiento impresionante en la aceleración de la síntesis de texto a imagen. Sin embargo, observamos que el LCM tiene dificultades para generar imágenes con claridad y detalle intrincado. Para abordar esta limitación, inicialmente profundizamos y elucidamos las causas subyacentes. Nuestra investigación identifica que el problema principal se origina en errores en tres áreas distintas. En consecuencia, introducimos la Destilación de Consistencia de Trayectoria (TCD, por sus siglas en inglés), que abarca la función de consistencia de trayectoria y el muestreo estocástico estratégico. La función de consistencia de trayectoria reduce los errores de destilación al ampliar el alcance de la condición de frontera de autoconsistencia y dotar al TCD de la capacidad de rastrear con precisión toda la trayectoria de la EDO de Flujo de Probabilidad. Además, el muestreo estocástico estratégico está específicamente diseñado para evitar los errores acumulados inherentes al muestreo de consistencia de múltiples pasos, y está meticulosamente adaptado para complementar el modelo TCD. Los experimentos demuestran que el TCD no solo mejora significativamente la calidad de las imágenes con un bajo número de evaluaciones de función (NFEs), sino que también produce resultados más detallados en comparación con el modelo maestro en un alto número de NFEs.

English

Latent Consistency Model (LCM) extends the Consistency Model to the latent space and leverages the guided consistency distillation technique to achieve impressive performance in accelerating text-to-image synthesis. However, we observed that LCM struggles to generate images with both clarity and detailed intricacy. To address this limitation, we initially delve into and elucidate the underlying causes. Our investigation identifies that the primary issue stems from errors in three distinct areas. Consequently, we introduce Trajectory Consistency Distillation (TCD), which encompasses trajectory consistency function and strategic stochastic sampling. The trajectory consistency function diminishes the distillation errors by broadening the scope of the self-consistency boundary condition and endowing the TCD with the ability to accurately trace the entire trajectory of the Probability Flow ODE. Additionally, strategic stochastic sampling is specifically designed to circumvent the accumulated errors inherent in multi-step consistency sampling, which is meticulously tailored to complement the TCD model. Experiments demonstrate that TCD not only significantly enhances image quality at low NFEs but also yields more detailed results compared to the teacher model at high NFEs.