AnimateDiff-Lightning: Kruismodel Diffusie Distillatie
AnimateDiff-Lightning: Cross-Model Diffusion Distillation
March 19, 2024
Auteurs: Shanchuan Lin, Xiao Yang
cs.AI
Samenvatting
We presenteren AnimateDiff-Lightning voor bliksemsnelle videogeneratie. Ons model maakt gebruik van progressieve adversarial diffusion distillatie om een nieuwe state-of-the-art te bereiken in videogeneratie met weinig stappen. We bespreken onze aanpassingen om het model geschikt te maken voor de videomodaliteit. Bovendien stellen we voor om de probabiliteitsstroom van meerdere basisdiffusiemodellen gelijktijdig te distilleren, wat resulteert in een enkel gedistilleerd bewegingsmodule met een bredere stijlcompatibiliteit. We zijn verheugd om ons gedistilleerde AnimateDiff-Lightning model beschikbaar te stellen voor gebruik door de gemeenschap.
English
We present AnimateDiff-Lightning for lightning-fast video generation. Our
model uses progressive adversarial diffusion distillation to achieve new
state-of-the-art in few-step video generation. We discuss our modifications to
adapt it for the video modality. Furthermore, we propose to simultaneously
distill the probability flow of multiple base diffusion models, resulting in a
single distilled motion module with broader style compatibility. We are pleased
to release our distilled AnimateDiff-Lightning model for the community's use.