Faça um Escalonamento Econômico: Um Modelo de Difusão em Cascata Automática para Adaptação em Alta Resolução

Make a Cheap Scaling: A Self-Cascade Diffusion Model for Higher-Resolution Adaptation

February 16, 2024

Autores: Lanqing Guo, Yingqing He, Haoxin Chen, Menghan Xia, Xiaodong Cun, Yufei Wang, Siyu Huang, Yong Zhang, Xintao Wang, Qifeng Chen, Ying Shan, Bihan Wen

cs.AI

Resumo

Os modelos de difusão têm se mostrado altamente eficazes na geração de imagens e vídeos; no entanto, ainda enfrentam desafios de composição ao gerar imagens de tamanhos variados devido a dados de treinamento em escala única. Adaptar grandes modelos de difusão pré-treinados para resoluções mais altas demanda recursos computacionais e de otimização substanciais, mas alcançar uma capacidade de geração comparável a modelos de baixa resolução permanece difícil. Este artigo propõe um novo modelo de difusão em autocascata que aproveita o conhecimento rico obtido de um modelo bem treinado em baixa resolução para uma rápida adaptação à geração de imagens e vídeos em alta resolução, empregando paradigmas de ajuste sem sintonização ou com upsamplers de baixo custo. Integrando uma sequência de módulos de upsampler multiescala, o modelo de difusão em autocascata pode se adaptar eficientemente a uma resolução mais alta, preservando a composição original e as capacidades de geração. Propomos ainda uma estratégia de reescalonamento de ruído guiada por pivô para acelerar o processo de inferência e melhorar os detalhes estruturais locais. Em comparação com o ajuste fino completo, nossa abordagem alcança uma aceleração de 5X no treinamento e requer apenas 0,002M de parâmetros adicionais de ajuste. Experimentos extensivos demonstram que nossa abordagem pode se adaptar rapidamente à síntese de imagens e vídeos em alta resolução com apenas 10k passos de ajuste fino, praticamente sem tempo adicional de inferência.

English

Diffusion models have proven to be highly effective in image and video generation; however, they still face composition challenges when generating images of varying sizes due to single-scale training data. Adapting large pre-trained diffusion models for higher resolution demands substantial computational and optimization resources, yet achieving a generation capability comparable to low-resolution models remains elusive. This paper proposes a novel self-cascade diffusion model that leverages the rich knowledge gained from a well-trained low-resolution model for rapid adaptation to higher-resolution image and video generation, employing either tuning-free or cheap upsampler tuning paradigms. Integrating a sequence of multi-scale upsampler modules, the self-cascade diffusion model can efficiently adapt to a higher resolution, preserving the original composition and generation capabilities. We further propose a pivot-guided noise re-schedule strategy to speed up the inference process and improve local structural details. Compared to full fine-tuning, our approach achieves a 5X training speed-up and requires only an additional 0.002M tuning parameters. Extensive experiments demonstrate that our approach can quickly adapt to higher resolution image and video synthesis by fine-tuning for just 10k steps, with virtually no additional inference time.