JoyAI-Video-Edit：自己回帰拡散によるリアルタイム・オープンエンドなビデオ編集

要旨

リアルタイム動画編集には、ソース忠実度と長期的な時間的一貫性を維持しながら、限られた計算リソースで低遅延の因果的生成を行うことが求められる。本稿では、将来のフレームや事前に定義された動画長を必要とせずに、リアルタイムかつオープンエンドな動画編集を実現する160億パラメータの自己回帰拡散フレームワークであるJoyAI-Video-Editを提案する。本手法は、チャンク単位の自己回帰適応、ソース固定型分布マッチング蒸留（SA-DMD）、および長期間自己回帰蒸留を組み合わせることで、訓練と推論のミスマッチを低減し、2ステップ生成中のソース忠実度を維持し、蓄積される時間的ドリフトを緩和する。広範な自動評価と人間による評価により、JoyAI-Video-Editは既存のストリーミング編集システムを大幅に上回り、短い動画と長い動画の両方において強力なオフラインシステムと同等の性能を維持することが示された。本システム全体は、単一のNvidia B200 GPU上で約30 FPSのエンドツーエンド720p動画編集を達成する。コードはhttps://github.com/jd-opensource/JoyAI-Video-Editで公開されている。

English

Real-time video editing requires low-latency causal generation with bounded computational resources while preserving source fidelity and long-term temporal consistency. We present JoyAI-Video-Edit, a 16B-parameter autoregressive diffusion framework for real-time, open-ended video editing without access to future frames or a predefined video duration. Our method combines chunk-wise autoregressive adaptation, Source-Anchored Distribution Matching Distillation (SA-DMD), and Long-Horizon Autoregressive Distillation to reduce train--inference mismatch, preserve source fidelity during two-step generation, and mitigate accumulated temporal drift. Extensive automatic and human evaluations show that JoyAI-Video-Edit substantially outperforms existing streaming editors and remains competitive with strong offline systems on both short and long videos. The complete system achieves end-to-end 720p video editing at approximately 30 FPS on a single Nvidia B200 GPU. Code is available at https://github.com/jd-opensource/JoyAI-Video-Edit.