JoyAI-Video-Edit: 자기회귀 확산을 이용한 실시간 개방형 영상 편집

초록

실시간 비디오 편집은 제한된 컴퓨팅 자원 내에서 지연 시간이 짧은 인과적 생성을 요구하며, 동시에 소스 충실도와 장기적 시간적 일관성을 유지해야 한다. 본 논문에서는 미래 프레임이나 사전 정의된 비디오 길이에 대한 접근 없이 실시간 개방형 비디오 편집을 수행하는 160억 파라미터 자기회귀 확산 프레임워크인 JoyAI-Video-Edit를 제시한다. 제안 방법은 청크 단위 자기회귀 적응(Chunk-wise Autoregressive Adaptation), 소스 고정 분포 정합 증류(SA-DMD, Source-Anchored Distribution Matching Distillation), 그리고 장기 자기회귀 증류(Long-Horizon Autoregressive Distillation)를 결합하여 학습-추론 불일치를 줄이고, 2단계 생성 과정에서 소스 충실도를 보존하며, 누적되는 시간적 드리프트를 완화한다. 광범위한 자동 및 인간 평가를 통해 JoyAI-Video-Edit가 기존 스트리밍 편집기를 크게 능가하며, 짧은 비디오와 긴 비디오 모두에서 강력한 오프라인 시스템과 경쟁력 있는 성능을 유지함을 보인다. 전체 시스템은 단일 엔비디아 B200 GPU에서 약 30 FPS의 엔드투엔드 720p 비디오 편집을 달성한다. 코드는 https://github.com/jd-opensource/JoyAI-Video-Edit에서 확인할 수 있다.

English

Real-time video editing requires low-latency causal generation with bounded computational resources while preserving source fidelity and long-term temporal consistency. We present JoyAI-Video-Edit, a 16B-parameter autoregressive diffusion framework for real-time, open-ended video editing without access to future frames or a predefined video duration. Our method combines chunk-wise autoregressive adaptation, Source-Anchored Distribution Matching Distillation (SA-DMD), and Long-Horizon Autoregressive Distillation to reduce train--inference mismatch, preserve source fidelity during two-step generation, and mitigate accumulated temporal drift. Extensive automatic and human evaluations show that JoyAI-Video-Edit substantially outperforms existing streaming editors and remains competitive with strong offline systems on both short and long videos. The complete system achieves end-to-end 720p video editing at approximately 30 FPS on a single Nvidia B200 GPU. Code is available at https://github.com/jd-opensource/JoyAI-Video-Edit.