Haz un escalado económico: Un modelo de difusión en cascada automática para la adaptación a mayor resolución

Resumen

Los modelos de difusión han demostrado ser altamente efectivos en la generación de imágenes y videos; sin embargo, aún enfrentan desafíos de composición al generar imágenes de tamaños variables debido a datos de entrenamiento de escala única. Adaptar modelos de difusión preentrenados de gran tamaño para resoluciones más altas requiere recursos computacionales y de optimización sustanciales, pero lograr una capacidad de generación comparable a la de modelos de baja resolución sigue siendo esquivo. Este artículo propone un novedoso modelo de difusión en cascada auto-guiado que aprovecha el conocimiento rico obtenido de un modelo bien entrenado de baja resolución para una rápida adaptación a la generación de imágenes y videos de mayor resolución, empleando paradigmas de ajuste sin sintonización o con sintonización económica de ampliación. Al integrar una secuencia de módulos de ampliación multi-escala, el modelo de difusión en cascada auto-guiado puede adaptarse eficientemente a una resolución más alta, preservando la composición original y las capacidades de generación. Además, proponemos una estrategia de reprogramación de ruido guiada por pivote para acelerar el proceso de inferencia y mejorar los detalles estructurales locales. En comparación con el ajuste fino completo, nuestro enfoque logra una aceleración de entrenamiento de 5X y requiere solo 0.002M parámetros adicionales de ajuste. Experimentos extensivos demuestran que nuestro enfoque puede adaptarse rápidamente a la síntesis de imágenes y videos de mayor resolución con solo 10k pasos de ajuste fino, prácticamente sin tiempo adicional de inferencia.

English

Diffusion models have proven to be highly effective in image and video generation; however, they still face composition challenges when generating images of varying sizes due to single-scale training data. Adapting large pre-trained diffusion models for higher resolution demands substantial computational and optimization resources, yet achieving a generation capability comparable to low-resolution models remains elusive. This paper proposes a novel self-cascade diffusion model that leverages the rich knowledge gained from a well-trained low-resolution model for rapid adaptation to higher-resolution image and video generation, employing either tuning-free or cheap upsampler tuning paradigms. Integrating a sequence of multi-scale upsampler modules, the self-cascade diffusion model can efficiently adapt to a higher resolution, preserving the original composition and generation capabilities. We further propose a pivot-guided noise re-schedule strategy to speed up the inference process and improve local structural details. Compared to full fine-tuning, our approach achieves a 5X training speed-up and requires only an additional 0.002M tuning parameters. Extensive experiments demonstrate that our approach can quickly adapt to higher resolution image and video synthesis by fine-tuning for just 10k steps, with virtually no additional inference time.

Haz un escalado económico: Un modelo de difusión en cascada automática para la adaptación a mayor resolución

Make a Cheap Scaling: A Self-Cascade Diffusion Model for Higher-Resolution Adaptation

Resumen

Support