PISCO: 疎な制御による精密なビデオインスタンス挿入
PISCO: Precise Video Instance Insertion with Sparse Control
February 9, 2026
著者: Xiangbo Gao, Renjie Li, Xinghao Chen, Yuheng Wu, Suofei Feng, Qing Yin, Zhengzhong Tu
cs.AI
要旨
AIビデオ生成の分野は現在、重要な転換期を迎えている。すなわち、膨大なプロンプトエンジニアリングと「良い結果の選別」に依存する汎用的な生成から、細粒度で制御可能な生成と高忠実度な後処理へと移行しつつある。プロフェッショナルなAI支援映像制作においては、精密かつ対象を限定した修正を行うことが極めて重要である。この転換の基盤となるのが、ビデオインスタンス挿入技術であり、既存の映像に特定のオブジェクト（インスタンス）をシーンの整合性を保ちつつ挿入することを要求する。従来のビデオ編集とは異なり、このタスクにはいくつかの要件が求められる。すなわち、正確な時空間的配置、物理的に一貫したシーンとの相互作用、元の動きの忠実な保持であり、これらをユーザーの負荷を最小限に抑えて達成しなければならない。
本論文では、任意のスパースなキーフレーム制御による精密なビデオインスタンス挿入を実現するビデオ拡散モデル、PISCOを提案する。PISCOはユーザーが単一のキーフレーム、開始・終了キーフレーム、あるいは任意のタイムスタンプにおけるスパースなキーフレーム群を指定することを可能とし、オブジェクトの外観、動き、相互作用を自動的に伝播させる。事前学習済みビデオ拡散モデルにおけるスパースな条件付けによって引き起こされる深刻な分布シフトに対処するため、我々は頑健な条件付けのための可変情報ガイダンスと、時間的生成を安定化させる分布保存型時間マスキングを導入し、さらに現実的なシーン適応のための幾何学認識型条件付けを組み合わせた。さらに、検証済みのインスタンスアノテーションとペアとなったクリーンな背景ビデオから構成されるベンチマーク、PISCO-Benchを構築し、参照ありおよび参照なしの知覚的指標を用いて性能を評価した。実験結果は、PISCOがスパースな制御条件下において強力なインペインティングおよびビデオ編集のベースライン手法を一貫して凌駕し、追加の制御信号が与えられるにつれて明確かつ単調な性能向上を示すことを実証している。プロジェクトページ: xiangbogaobarry.github.io/PISCO。
English
The landscape of AI video generation is undergoing a pivotal shift: moving beyond general generation - which relies on exhaustive prompt-engineering and "cherry-picking" - towards fine-grained, controllable generation and high-fidelity post-processing. In professional AI-assisted filmmaking, it is crucial to perform precise, targeted modifications. A cornerstone of this transition is video instance insertion, which requires inserting a specific instance into existing footage while maintaining scene integrity. Unlike traditional video editing, this task demands several requirements: precise spatial-temporal placement, physically consistent scene interaction, and the faithful preservation of original dynamics - all achieved under minimal user effort. In this paper, we propose PISCO, a video diffusion model for precise video instance insertion with arbitrary sparse keyframe control. PISCO allows users to specify a single keyframe, start-and-end keyframes, or sparse keyframes at arbitrary timestamps, and automatically propagates object appearance, motion, and interaction. To address the severe distribution shift induced by sparse conditioning in pretrained video diffusion models, we introduce Variable-Information Guidance for robust conditioning and Distribution-Preserving Temporal Masking to stabilize temporal generation, together with geometry-aware conditioning for realistic scene adaptation. We further construct PISCO-Bench, a benchmark with verified instance annotations and paired clean background videos, and evaluate performance using both reference-based and reference-free perceptual metrics. Experiments demonstrate that PISCO consistently outperforms strong inpainting and video editing baselines under sparse control, and exhibits clear, monotonic performance improvements as additional control signals are provided. Project page: xiangbogaobarry.github.io/PISCO.