LiveEdit: Zur Echtzeit-diffusionsbasierten Streaming-Videobearbeitung

Zusammenfassung

Streaming-Video-Bearbeitung hat rasante Fortschritte gemacht, doch der praktische Einsatz wird noch durch zwei Kernprobleme eingeschränkt: die Aufrechterhaltung stabiler Hintergründe und nicht bearbeiteter Bereiche über die Zeit sowie die für interaktive Echtzeitszenarien erforderliche niedrige Latenz. Gleichzeitig wurden neuere Methoden zur Generierung von Streaming-Videos meist für die Synthese entwickelt und können aufgrund der strengen Erhaltungsanforderungen und regionsspezifischen Steuerung nicht direkt auf die Bearbeitung angewendet werden. In dieser Arbeit stellen wir ein neuartiges Framework für Streaming-Video-Bearbeitung vor, das eine kausale, Bild-für-Bild-Bearbeitung mit starkem Inhaltserhalt und Echtzeitfähigkeit durchführt. Unser zentrales Design ist eine dreistufige Destillationspipeline, die schrittweise die Bearbeitungsfähigkeit von einem leistungsstarken bidirektionalen Fundamentmodell auf einen effizienten unidirektionalen Streaming-Editor überträgt und so stabile langfristige Bearbeitungen ohne Einbußen bei der visuellen Wiedergabetreue ermöglicht. Zur weiteren Unterstützung des Echtzeiteinsatzes führen wir einen AR-orientierten Masken-Cache ein, der regionsbezogene Berechnungen über mehrere Bilder hinweg wiederverwendet, wodurch redundante Verarbeitung erheblich reduziert und die Inferenz beschleunigt wird. Schließlich etablieren wir einen dedizierten Benchmark für Streaming-Video-Bearbeitung. Umfangreiche Evaluierungen zeigen, dass unsere Methode unter den Streaming-Baselines eine Spitzenqualität in der Bildqualität erreicht und gleichzeitig die Inferenzgeschwindigkeit drastisch auf 12,66 Bilder pro Sekunde steigert, was sie für interaktive und Augmented-Reality-Anwendungen geeignet macht.

English

Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.