MoViE: Мобильное распространение для видеомонтажа

MoViE: Mobile Diffusion for Video Editing

December 9, 2024

Авторы: Adil Karjauv, Noor Fathima, Ioannis Lelekas, Fatih Porikli, Amir Ghodrati, Amirhossein Habibian

cs.AI

Аннотация

Недавние успехи в области редактирования видео на основе диффузии показали выдающийся потенциал для практических применений. Однако эти методы остаются чрезмерно дорогостоящими и сложными для применения на мобильных устройствах. В данном исследовании мы представляем серию оптимизаций, которые делают редактирование видео на мобильных устройствах возможным. На основе существующей модели редактирования изображений, мы сначала оптимизируем ее архитектуру и внедряем легкий автокодировщик. Затем мы расширяем метод обучения без классификатора для направляющей дистилляции на несколько модальностей, что приводит к увеличению скорости на устройстве в три раза. Наконец, мы уменьшаем количество шагов выборки до одного, представив новую схему адверсариальной дистилляции, которая сохраняет управляемость процесса редактирования. В совокупности эти оптимизации позволяют выполнять редактирование видео со скоростью 12 кадров в секунду на мобильных устройствах, сохраняя при этом высокое качество. Наши результаты доступны по ссылке https://qualcomm-ai-research.github.io/mobile-video-editing/

English

Recent progress in diffusion-based video editing has shown remarkable potential for practical applications. However, these methods remain prohibitively expensive and challenging to deploy on mobile devices. In this study, we introduce a series of optimizations that render mobile video editing feasible. Building upon the existing image editing model, we first optimize its architecture and incorporate a lightweight autoencoder. Subsequently, we extend classifier-free guidance distillation to multiple modalities, resulting in a threefold on-device speedup. Finally, we reduce the number of sampling steps to one by introducing a novel adversarial distillation scheme which preserves the controllability of the editing process. Collectively, these optimizations enable video editing at 12 frames per second on mobile devices, while maintaining high quality. Our results are available at https://qualcomm-ai-research.github.io/mobile-video-editing/