LiveEdit: К редактированию потокового видео в реальном времени на основе диффузии

Аннотация

Потоковое редактирование видео достигло быстрого прогресса, однако практическое применение по-прежнему ограничено двумя ключевыми проблемами: поддержанием стабильности фонов и нередактируемых областей с течением времени, а также достижением низкой задержки, необходимой для сценариев интерактивного взаимодействия в реальном времени. Между тем, современные методы потоковой генерации видео в основном ориентированы на синтез и не могут быть напрямую применены к редактированию из-за строгих требований к сохранению содержимого и управления конкретными областями. В данной работе мы представляем новую среду потокового редактирования видео, которая выполняет каузальное покадровое редактирование с высокой степенью сохранения содержимого и откликом в реальном времени. Ключевым элементом нашей разработки является трёхступенчатый конвейер дистилляции, который последовательно переносит возможности редактирования от мощной двунаправленной базовой модели к эффективному однонаправленному потоковому редактору, обеспечивая стабильное редактирование на длительных временных горизонтах без потери визуального качества. Для дополнительной поддержки развёртывания в реальном времени мы вводим AR-ориентированный кэш масок, который повторно использует вычисления, связанные с областями, между кадрами, существенно сокращая избыточную обработку и ускоряя вывод. Наконец, мы создаём специализированный эталонный тест для потокового редактирования видео. Обширные оценки показывают, что наш метод достигает передового визуального качества среди потоковых базовых методов, одновременно значительно увеличивая скорость вывода до 12,66 FPS, что делает его пригодным для интерактивных приложений и приложений дополненной реальности.

English

Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.