InfinityEdit: 軽量な編集起動アダプタによる無限のビデオ編集

要旨

大規模な事前学習済みモデルの登場により、既存手法は指示ベースのビデオ編集を効果的に改善してきた。しかし、そのほとんどはインプレース編集の前提に依存している。すなわち、固定された時間スパンにわたって、編集後のビデオを与えられたソースクリップとフレームごとに位置合わせする。この方式は、終わりのないストリーム（例えば、ライブゲームのスタイル変更や進行中のショットへのカメラ移動の適用）では機能しない。そのような場合、編集は静的な入力クリップに適用されるのではなく、到着する将来のフレームにも拡張されなければならない。本論文では、この設定を研究し、これを無限ビデオ編集（infinite video editing）と呼ぶ。すなわち、先行セグメントと編集要求が与えられたとき、モデルは要求された編集を適用しながらストリームを継続する次のセグメントを生成しなければならない。このプロセスは、無制限の編集指示列が到着するにつれて繰り返される。このタスクには2つの課題がある。編集はフレーム単位の書き換えではなく、忠実な継続でなければならないことと、編集が蓄積されるにつれて生成品質が安定していなければならないことである。これらの課題に対処するため、まず無限ビデオ編集のためのデータ収集パイプラインを設計する。収集したデータに基づき、ストリーミングビデオ生成器に無制限の編集能力を付与する軽量な編集アダプタであるInfinityEditを提案する。このアダプタは3つのアテンションモジュールを含む。履歴クロスアテンションは、入力フレームを用いてデノイジングフレームを導く。時間的因果自己注意は、時間的手がかりが前のフレームから後のフレームへと一方向にのみ流れるようにする。編集クロスアテンションは、編集要求を生成プロセスに注入する。推論時、アダプタは編集要求が到着したチャンクでのみ活性化される。後続のチャンクは、リセットされたアンカーフレームを用いて元のモデルによって生成される。この方式により、元のモデルの無限生成能力を維持しながら編集を適用できる。広範な実験により、InfinityEditは各編集のもとでストリームを忠実に継続し、無制限の編集シーケンスにわたって安定した動作を維持することが示された。

English

With large pretrained models, existing methods have effectively improved instruction-based video editing. However, most of them rely on an in-place editing assumption. They align the edited video with the given source clip frame by frame over a fixed time span. This pattern fails for open-ended streams, e.g., restyling a live game or applying a camera move to an ongoing shot. In such cases, edits must extend to future frames as they arrive, rather than be applied to a static input clip. In this paper, we study this setting and name it infinite video editing: given a preceding segment and an edit request, a model must generate the next segment that continues the stream while applying the requested edit. This process repeats as an unbounded sequence of edit instructions arrives. This task brings two challenges: the edit must be a faithful continuation rather than a frame-wise rewrite, and generation quality must remain stable as edits accumulate. To address them, we first design a data-collection pipeline for infinite video editing. Based on the collected data, we propose InfinityEdit, a lightweight edit adapter that equips a streaming video generator with unbounded editing ability. The adapter contains three attention modules. History cross-attention guides the denoising frames using the input frames. Temporal causal self-attention keeps temporal cues flowing only from earlier frames to later ones. Edit cross-attention injects the edit request into generation. During inference, the adapter is activated only in the chunk where an edit request arrives. Subsequent chunks are generated by the original model with a reset anchor frame. This scheme applies the edit while preserving the original model's infinite generation ability. Extensive experiments show that InfinityEdit faithfully continues the stream under each edit, and stays stable over unbounded edit sequences.