Distribución Mejorada de Emparejamiento para la Destilación en Síntesis Rápida de Imágenes

Improved Distribution Matching Distillation for Fast Image Synthesis

May 23, 2024

Autores: Tianwei Yin, Michaël Gharbi, Taesung Park, Richard Zhang, Eli Shechtman, Fredo Durand, William T. Freeman

cs.AI

Resumen

Los enfoques recientes han mostrado avances prometedores al destilar modelos de difusión en generadores eficientes de un solo paso. Entre ellos, la Destilación por Coincidencia de Distribución (DMD, por sus siglas en inglés) produce generadores de un solo paso que coinciden con su modelo maestro en distribución, sin imponer una correspondencia uno a uno con las trayectorias de muestreo de sus maestros. Sin embargo, para garantizar un entrenamiento estable, DMD requiere una pérdida de regresión adicional calculada utilizando un gran conjunto de pares ruido-imagen generados por el maestro con muchos pasos de un muestreador determinista. Esto es costoso para la síntesis de texto a imagen a gran escala y limita la calidad del estudiante, vinculándolo demasiado estrechamente a las rutas de muestreo originales del maestro. Introducimos DMD2, un conjunto de técnicas que eliminan esta limitación y mejoran el entrenamiento de DMD. Primero, eliminamos la pérdida de regresión y la necesidad de una construcción costosa de conjuntos de datos. Mostramos que la inestabilidad resultante se debe a que el crítico falso no estima con precisión la distribución de las muestras generadas y proponemos una regla de actualización de dos escalas temporales como solución. Segundo, integramos una pérdida GAN en el procedimiento de destilación, discriminando entre muestras generadas e imágenes reales. Esto nos permite entrenar el modelo estudiante con datos reales, mitigando la estimación imperfecta de puntuaciones reales del modelo maestro y mejorando la calidad. Por último, modificamos el procedimiento de entrenamiento para habilitar el muestreo de múltiples pasos. Identificamos y abordamos el problema de desajuste de entrada entre entrenamiento e inferencia en este escenario, simulando muestras del generador durante el tiempo de inferencia en el entrenamiento. En conjunto, nuestras mejoras establecen nuevos referentes en la generación de imágenes de un solo paso, con puntuaciones FID de 1.28 en ImageNet-64x64 y 8.35 en COCO 2014 de cero disparos, superando al maestro original a pesar de una reducción de 500X en el costo de inferencia. Además, mostramos que nuestro enfoque puede generar imágenes de megapíxeles al destilar SDXL, demostrando una calidad visual excepcional entre los métodos de pocos pasos.

English

Recent approaches have shown promises distilling diffusion models into efficient one-step generators. Among them, Distribution Matching Distillation (DMD) produces one-step generators that match their teacher in distribution, without enforcing a one-to-one correspondence with the sampling trajectories of their teachers. However, to ensure stable training, DMD requires an additional regression loss computed using a large set of noise-image pairs generated by the teacher with many steps of a deterministic sampler. This is costly for large-scale text-to-image synthesis and limits the student's quality, tying it too closely to the teacher's original sampling paths. We introduce DMD2, a set of techniques that lift this limitation and improve DMD training. First, we eliminate the regression loss and the need for expensive dataset construction. We show that the resulting instability is due to the fake critic not estimating the distribution of generated samples accurately and propose a two time-scale update rule as a remedy. Second, we integrate a GAN loss into the distillation procedure, discriminating between generated samples and real images. This lets us train the student model on real data, mitigating the imperfect real score estimation from the teacher model, and enhancing quality. Lastly, we modify the training procedure to enable multi-step sampling. We identify and address the training-inference input mismatch problem in this setting, by simulating inference-time generator samples during training time. Taken together, our improvements set new benchmarks in one-step image generation, with FID scores of 1.28 on ImageNet-64x64 and 8.35 on zero-shot COCO 2014, surpassing the original teacher despite a 500X reduction in inference cost. Further, we show our approach can generate megapixel images by distilling SDXL, demonstrating exceptional visual quality among few-step methods.