AnimateDiff-Lightning : Distillation inter-modèles par diffusion

AnimateDiff-Lightning: Cross-Model Diffusion Distillation

March 19, 2024

Auteurs: Shanchuan Lin, Xiao Yang

cs.AI

Résumé

Nous présentons AnimateDiff-Lightning pour une génération de vidéos ultra-rapide. Notre modèle utilise une distillation progressive par diffusion adversarial pour atteindre un nouvel état de l'art dans la génération de vidéos en peu d'étapes. Nous discutons de nos modifications pour l'adapter à la modalité vidéo. De plus, nous proposons de distiller simultanément le flux de probabilité de plusieurs modèles de diffusion de base, aboutissant à un module de mouvement distillé unique avec une compatibilité stylistique plus large. Nous sommes heureux de mettre à disposition notre modèle AnimateDiff-Lightning distillé pour l'usage de la communauté.

English

We present AnimateDiff-Lightning for lightning-fast video generation. Our model uses progressive adversarial diffusion distillation to achieve new state-of-the-art in few-step video generation. We discuss our modifications to adapt it for the video modality. Furthermore, we propose to simultaneously distill the probability flow of multiple base diffusion models, resulting in a single distilled motion module with broader style compatibility. We are pleased to release our distilled AnimateDiff-Lightning model for the community's use.