LiveEdit: 실시간 확산 기반 스트리밍 비디오 편집을 향하여

초록

스트리밍 비디오 편집 기술은 빠르게 발전해 왔으나, 실제 배포는 두 가지 핵심 문제로 인해 여전히 제한되고 있다: 시간 경과에 따른 안정적인 배경 및 미편집 영역 유지, 그리고 실시간 대화형 시나리오에 필요한 낮은 지연 시간 달성이다. 또한, 최근의 스트리밍 비디오 생성 방법은 대부분 합성을 위해 개발되었으며, 엄격한 보존 요구 사항과 영역별 제어로 인해 편집에 직접 적용될 수 없다. 본 연구에서는 내용 보존이 뛰어나고 실시간 응답성을 갖춘 인과적 프레임별 편집을 수행하는 새로운 스트리밍 비디오 편집 프레임워크를 제시한다. 핵심 설계는 강력한 양방향 기반 모델에서 효율적인 단방향 스트리밍 편집기로 편집 능력을 점진적으로 전이하는 3단계 증류 파이프라인으로, 시각적 충실도를 희생하지 않으면서 장기적으로 안정적인 편집을 가능하게 한다. 실시간 배포를 더욱 지원하기 위해, 우리는 프레임 간 영역 관련 연산을 재사용하여 중복 처리를 크게 줄이고 추론을 가속화하는 AR 중심 마스크 캐시를 도입한다. 마지막으로, 스트리밍 비디오 편집을 위한 전용 벤치마크를 구축한다. 광범위한 평가를 통해 본 방법이 스트리밍 기준 모델 중 최고 수준의 시각적 품질을 달성하면서도 추론 속도를 12.66 FPS로 획기적으로 향상시켜 대화형 및 증강현실 애플리케이션에 적합함을 입증한다.

English

Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.