LiveEdit : Vers le montage vidéo en streaming en temps réel basé sur la diffusion

Résumé

Le montage vidéo en continu a réalisé des progrès rapides, mais son déploiement pratique reste limité par deux problèmes fondamentaux : le maintien de fonds stables et de régions non modifiées dans le temps, et l'obtention de la faible latence requise pour les scénarios interactifs en temps réel. Parallèlement, les récentes méthodes de génération vidéo en continu sont principalement développées pour la synthèse et ne peuvent pas être directement appliquées au montage en raison de l'exigence stricte de préservation et du contrôle spécifique aux régions. Dans ce travail, nous présentons un nouveau cadre de montage vidéo en continu qui effectue un montage causal, image par image, avec une forte préservation du contenu et une réactivité en temps réel. Notre conception clé est un pipeline de distillation en trois étapes qui transfère progressivement la capacité de montage d'un puissant modèle de base bidirectionnel à un éditeur de streaming unidirectionnel efficace, permettant des montages stables sur de longs horizons sans sacrifier la fidélité visuelle. Pour soutenir davantage le déploiement en temps réel, nous introduisons un cache de masque orienté RA qui réutilise les calculs liés aux régions entre les images, réduisant considérablement le traitement redondant et accélérant l'inférence. Enfin, nous établissons un référentiel dédié pour le montage vidéo en continu. Des évaluations approfondies démontrent que notre méthode atteint une qualité visuelle de pointe parmi les références de streaming tout en augmentant considérablement la vitesse d'inférence à 12,66 FPS, la rendant adaptée aux applications interactives et de réalité augmentée.

English

Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.