AnimateDiff-Lightning: Distilación de Difusión Transversal de Modelos

AnimateDiff-Lightning: Cross-Model Diffusion Distillation

March 19, 2024

Autores: Shanchuan Lin, Xiao Yang

cs.AI

Resumen

Presentamos AnimateDiff-Lightning para la generación ultrarrápida de videos. Nuestro modelo utiliza destilación difusiva adversaria progresiva para alcanzar un nuevo estado del arte en la generación de videos con pocos pasos. Discutimos nuestras modificaciones para adaptarlo a la modalidad de video. Además, proponemos destilar simultáneamente el flujo de probabilidad de múltiples modelos de difusión base, lo que resulta en un único módulo de movimiento destilado con mayor compatibilidad de estilos. Nos complace lanzar nuestro modelo destilado AnimateDiff-Lightning para el uso de la comunidad.

English

We present AnimateDiff-Lightning for lightning-fast video generation. Our model uses progressive adversarial diffusion distillation to achieve new state-of-the-art in few-step video generation. We discuss our modifications to adapt it for the video modality. Furthermore, we propose to simultaneously distill the probability flow of multiple base diffusion models, resulting in a single distilled motion module with broader style compatibility. We are pleased to release our distilled AnimateDiff-Lightning model for the community's use.