AnimateDiff-Lightning: Distilação de Difusão Transmodelo
AnimateDiff-Lightning: Cross-Model Diffusion Distillation
March 19, 2024
Autores: Shanchuan Lin, Xiao Yang
cs.AI
Resumo
Apresentamos o AnimateDiff-Lightning para geração de vídeos ultrarrápida. Nosso modelo utiliza difusão adversária progressiva com destilação para alcançar um novo estado da arte na geração de vídeos com poucos passos. Discutimos nossas modificações para adaptá-lo à modalidade de vídeo. Além disso, propomos destilar simultaneamente o fluxo de probabilidade de múltiplos modelos de difusão base, resultando em um único módulo de movimento destilado com maior compatibilidade de estilos. Temos o prazer de disponibilizar nosso modelo AnimateDiff-Lightning destilado para uso da comunidade.
English
We present AnimateDiff-Lightning for lightning-fast video generation. Our
model uses progressive adversarial diffusion distillation to achieve new
state-of-the-art in few-step video generation. We discuss our modifications to
adapt it for the video modality. Furthermore, we propose to simultaneously
distill the probability flow of multiple base diffusion models, resulting in a
single distilled motion module with broader style compatibility. We are pleased
to release our distilled AnimateDiff-Lightning model for the community's use.