MoViE: Mobiele Verspreiding voor Videobewerking
MoViE: Mobile Diffusion for Video Editing
December 9, 2024
Auteurs: Adil Karjauv, Noor Fathima, Ioannis Lelekas, Fatih Porikli, Amir Ghodrati, Amirhossein Habibian
cs.AI
Samenvatting
Recente vooruitgang in diffusie-gebaseerde videobewerking heeft opmerkelijk potentieel getoond voor praktische toepassingen. Echter, deze methoden blijven kostbaar en uitdagend om te implementeren op mobiele apparaten. In dit onderzoek introduceren we een reeks optimalisaties die mobiele videobewerking haalbaar maken. Voortbouwend op het bestaande beeldbewerkingsmodel optimaliseren we eerst de architectuur en voegen een lichtgewicht auto-encoder toe. Vervolgens breiden we de classifier-vrije begeleidingsdestillatie uit naar meerdere modaliteiten, resulterend in een drievoudige versnelling op het apparaat. Ten slotte verminderen we het aantal bemonsteringsstappen tot één door een nieuw adversariaal destillatieschema te introduceren dat de controleerbaarheid van het bewerkingsproces behoudt. Samen maken deze optimalisaties videobewerking mogelijk met 12 frames per seconde op mobiele apparaten, met behoud van hoge kwaliteit. Onze resultaten zijn beschikbaar op https://qualcomm-ai-research.github.io/mobile-video-editing/
English
Recent progress in diffusion-based video editing has shown remarkable
potential for practical applications. However, these methods remain
prohibitively expensive and challenging to deploy on mobile devices. In this
study, we introduce a series of optimizations that render mobile video editing
feasible. Building upon the existing image editing model, we first optimize its
architecture and incorporate a lightweight autoencoder. Subsequently, we extend
classifier-free guidance distillation to multiple modalities, resulting in a
threefold on-device speedup. Finally, we reduce the number of sampling steps to
one by introducing a novel adversarial distillation scheme which preserves the
controllability of the editing process. Collectively, these optimizations
enable video editing at 12 frames per second on mobile devices, while
maintaining high quality. Our results are available at
https://qualcomm-ai-research.github.io/mobile-video-editing/