時間的推論を備えた統合ビデオ編集

要旨

既存の動画編集手法は重大なジレンマに直面している。専門特化モデルは高精度を実現するが、マスクなどのタスク固有の事前情報に依存するため統一が困難である。一方、統一的な時間的文脈内学習モデルはマスク不要だが、明示的な空間的手がかりを欠くため、指示と編集領域の対応関係が弱く、位置特定が不正確になる。この問題を解決するため、我々はChain-of-Thought推論に着想を得た新しいChain-of-Framesアプローチ「VideoCoF」を提案する。VideoCoFは「認識、推論、編集」という手順を強制し、動画拡散モデルが目標動画トークンを生成する前に、まず推論トークン（編集領域潜在変数）を予測するよう促す。この明示的推論ステップにより、ユーザー提供のマスクが不要になりながら、指示と領域の正確な対応関係と細粒度な動画編集を実現する。さらに、我々はRoPE調整戦略を導入し、これらの推論トークンを活用して動きの整合性を保証し、学習時を超える長さへの外挿を可能にする。わずか5万組の動画ペアという最小限のデータコストで、VideoCoFがVideoCoF-Benchにおいて最先端の性能を達成することを実証し、本手法の効率性と有効性を検証する。コード、重み、データはhttps://github.com/knightyxp/VideoCoFで公開している。

English

Existing video editing methods face a critical trade-off: expert models offer precision but rely on task-specific priors like masks, hindering unification; conversely, unified temporal in-context learning models are mask-free but lack explicit spatial cues, leading to weak instruction-to-region mapping and imprecise localization. To resolve this conflict, we propose VideoCoF, a novel Chain-of-Frames approach inspired by Chain-of-Thought reasoning. VideoCoF enforces a ``see, reason, then edit" procedure by compelling the video diffusion model to first predict reasoning tokens (edit-region latents) before generating the target video tokens. This explicit reasoning step removes the need for user-provided masks while achieving precise instruction-to-region alignment and fine-grained video editing. Furthermore, we introduce a RoPE alignment strategy that leverages these reasoning tokens to ensure motion alignment and enable length extrapolation beyond the training duration. We demonstrate that with a minimal data cost of only 50k video pairs, VideoCoF achieves state-of-the-art performance on VideoCoF-Bench, validating the efficiency and effectiveness of our approach. Our code, weight, data are available at https://github.com/knightyxp/VideoCoF.

時間的推論を備えた統合ビデオ編集

Unified Video Editing with Temporal Reasoner

要旨

Support