LiveEdit: Hacia la Edición de Video en Streaming Basada en Difusión en Tiempo Real

Resumen

La edición de video en streaming ha progresado rápidamente, pero su implementación práctica aún está limitada por dos problemas centrales: mantener fondos estables y regiones no editadas a lo largo del tiempo, y lograr la baja latencia requerida para escenarios interactivos en tiempo real. Mientras tanto, los métodos recientes de generación de video en streaming se desarrollan principalmente para síntesis y no pueden aplicarse directamente a la edición debido al estricto requisito de preservación y al control específico por regiones. En este trabajo, presentamos un novedoso marco de edición de video en streaming que realiza edición causal, fotograma a fotograma, con una fuerte preservación del contenido y capacidad de respuesta en tiempo real. Nuestro diseño clave es un proceso de destilación de tres etapas que transfiere progresivamente la capacidad de edición de un potente modelo base bidireccional a un editor de streaming unidireccional eficiente, permitiendo ediciones estables a largo plazo sin sacrificar la fidelidad visual. Para respaldar aún más el despliegue en tiempo real, introducimos una caché de máscara orientada a RA que reutiliza el cálculo relacionado con regiones entre fotogramas, reduciendo sustancialmente el procesamiento redundante y acelerando la inferencia. Finalmente, establecemos un punto de referencia dedicado para la edición de video en streaming. Evaluaciones exhaustivas demuestran que nuestro método alcanza la mejor calidad visual entre las líneas base de streaming, mientras aumenta drásticamente la velocidad de inferencia a 12.66 FPS, lo que lo hace adecuado para aplicaciones interactivas y de realidad aumentada.

English

Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.