AnimateDiff-Lightning: Kreuzmodell-Diffusionsdestillation

AnimateDiff-Lightning: Cross-Model Diffusion Distillation

March 19, 2024

Autoren: Shanchuan Lin, Xiao Yang

cs.AI

Zusammenfassung

Wir präsentieren AnimateDiff-Lightning für die blitzschnelle Videogenerierung. Unser Modell verwendet progressives adversariales Diffusionsdestillat, um einen neuen Stand der Technik in der Videogenerierung mit wenigen Schritten zu erreichen. Wir diskutieren unsere Modifikationen, um es für die Videomodalität anzupassen. Darüber hinaus schlagen wir vor, gleichzeitig den Wahrscheinlichkeitsfluss mehrerer Basis-Diffusionsmodelle zu destillieren, was zu einem einzigen destillierten Bewegungsmodul mit breiterer Stilkompatibilität führt. Wir freuen uns, unser destilliertes AnimateDiff-Lightning-Modell für die Nutzung durch die Gemeinschaft freizugeben.

English

We present AnimateDiff-Lightning for lightning-fast video generation. Our model uses progressive adversarial diffusion distillation to achieve new state-of-the-art in few-step video generation. We discuss our modifications to adapt it for the video modality. Furthermore, we propose to simultaneously distill the probability flow of multiple base diffusion models, resulting in a single distilled motion module with broader style compatibility. We are pleased to release our distilled AnimateDiff-Lightning model for the community's use.