AnimateDiff-Lightning: Distillazione Cross-Model per la Diffusione
AnimateDiff-Lightning: Cross-Model Diffusion Distillation
March 19, 2024
Autori: Shanchuan Lin, Xiao Yang
cs.AI
Abstract
Presentiamo AnimateDiff-Lightning per la generazione di video estremamente veloce. Il nostro modello utilizza la distillazione diffusa avversaria progressiva per raggiungere nuovi risultati all'avanguardia nella generazione di video con pochi passaggi. Discutiamo le nostre modifiche per adattarlo alla modalità video. Inoltre, proponiamo di distillare simultaneamente il flusso di probabilità di più modelli di diffusione di base, ottenendo un singolo modulo di movimento distillato con una maggiore compatibilità stilistica. Siamo lieti di rilasciare il nostro modello distillato AnimateDiff-Lightning per l'uso della comunità.
English
We present AnimateDiff-Lightning for lightning-fast video generation. Our
model uses progressive adversarial diffusion distillation to achieve new
state-of-the-art in few-step video generation. We discuss our modifications to
adapt it for the video modality. Furthermore, we propose to simultaneously
distill the probability flow of multiple base diffusion models, resulting in a
single distilled motion module with broader style compatibility. We are pleased
to release our distilled AnimateDiff-Lightning model for the community's use.