MoViE : Diffusion Mobile pour le Montage Vidéo

MoViE: Mobile Diffusion for Video Editing

December 9, 2024

Auteurs: Adil Karjauv, Noor Fathima, Ioannis Lelekas, Fatih Porikli, Amir Ghodrati, Amirhossein Habibian

cs.AI

Résumé

Les récents progrès dans l'édition vidéo basée sur la diffusion ont montré un potentiel remarquable pour des applications pratiques. Cependant, ces méthodes restent excessivement coûteuses et difficiles à déployer sur des appareils mobiles. Dans cette étude, nous introduisons une série d'optimisations qui rendent l'édition vidéo sur mobile réalisable. En nous appuyant sur le modèle d'édition d'image existant, nous optimisons d'abord son architecture et incorporons un autoencodeur léger. Ensuite, nous étendons la distillation de guidage sans classifieur à plusieurs modalités, ce qui se traduit par une accélération sur l'appareil de trois fois. Enfin, nous réduisons le nombre d'étapes d'échantillonnage à une en introduisant un nouveau schéma de distillation adversaire qui préserve la contrôlabilité du processus d'édition. Collectivement, ces optimisations permettent l'édition vidéo à 12 images par seconde sur des appareils mobiles, tout en maintenant une haute qualité. Nos résultats sont disponibles sur https://qualcomm-ai-research.github.io/mobile-video-editing/

English

Recent progress in diffusion-based video editing has shown remarkable potential for practical applications. However, these methods remain prohibitively expensive and challenging to deploy on mobile devices. In this study, we introduce a series of optimizations that render mobile video editing feasible. Building upon the existing image editing model, we first optimize its architecture and incorporate a lightweight autoencoder. Subsequently, we extend classifier-free guidance distillation to multiple modalities, resulting in a threefold on-device speedup. Finally, we reduce the number of sampling steps to one by introducing a novel adversarial distillation scheme which preserves the controllability of the editing process. Collectively, these optimizations enable video editing at 12 frames per second on mobile devices, while maintaining high quality. Our results are available at https://qualcomm-ai-research.github.io/mobile-video-editing/