PISCO: Precisie Video-instantie-invoeging met Sparse Controle

PISCO: Precise Video Instance Insertion with Sparse Control

February 9, 2026

Auteurs: Xiangbo Gao, Renjie Li, Xinghao Chen, Yuheng Wu, Suofei Feng, Qing Yin, Zhengzhong Tu

cs.AI

Samenvatting

Het landschap van AI-videogeneratie ondergaat een cruciale verschuiving: van algemene generatie - die steunt op uitgebreide prompt-engineering en "cherry-picking" - naar fijnmazige, controleerbare generatie en hoogwaardige nabewerking. In professionele AI-gestuurde filmproductie is het essentieel om precieze, gerichte aanpassingen te kunnen uitvoeren. Een hoeksteen van deze transitie is video-instance-insertie, waarbij een specifiek object in bestaande beelden moet worden geplaatst met behoud van de scène-integriteit. In tegenstelling tot traditionele videobewerking vereist deze taak verschillende voorwaarden: precieze ruimtelijk-temporele plaatsing, fysiek consistente scène-interactie en het getrouw behouden van originele dynamiek - allemaal gerealiseerd met minimale gebruikersinspanning. In dit artikel presenteren we PISCO, een videodiffusiemodel voor precieze video-instance-insertie met willekeurige sparse keyframe-controle. PISCO stelt gebruikers in staat om een enkel keyframe, start- en eindkeyframes, of sparse keyframes op willekeurige tijdstippen op te geven, en propageert automatisch objectverschijning, beweging en interactie. Om de ernstige distributieverschuiving door sparse conditionering in voorgetrainde videodiffusiemodellen aan te pakken, introduceren we Variable-Information Guidance voor robuuste conditionering en Distribution-Preserving Temporal Masking om temporele generatie te stabiliseren, samen met geometriebewuste conditionering voor realistische scène-aanpassing. We construeren verder PISCO-Bench, een benchmark met geverifieerde instance-annotaties en gepaarde schone achtergrondvideo's, en evalueren prestaties met zowel referentie-gebaseerde als referentievrije perceptuele metrieken. Experimenten tonen aan dat PISCO consistent sterker presteert dan robuuste inpainting- en videobewerkingsbaselines onder sparse controle, en duidelijke, monotone prestatieverbeteringen vertoont naarmate extra controlesignalen worden verstrekt. Projectpagina: xiangbogaobarry.github.io/PISCO.

English

The landscape of AI video generation is undergoing a pivotal shift: moving beyond general generation - which relies on exhaustive prompt-engineering and "cherry-picking" - towards fine-grained, controllable generation and high-fidelity post-processing. In professional AI-assisted filmmaking, it is crucial to perform precise, targeted modifications. A cornerstone of this transition is video instance insertion, which requires inserting a specific instance into existing footage while maintaining scene integrity. Unlike traditional video editing, this task demands several requirements: precise spatial-temporal placement, physically consistent scene interaction, and the faithful preservation of original dynamics - all achieved under minimal user effort. In this paper, we propose PISCO, a video diffusion model for precise video instance insertion with arbitrary sparse keyframe control. PISCO allows users to specify a single keyframe, start-and-end keyframes, or sparse keyframes at arbitrary timestamps, and automatically propagates object appearance, motion, and interaction. To address the severe distribution shift induced by sparse conditioning in pretrained video diffusion models, we introduce Variable-Information Guidance for robust conditioning and Distribution-Preserving Temporal Masking to stabilize temporal generation, together with geometry-aware conditioning for realistic scene adaptation. We further construct PISCO-Bench, a benchmark with verified instance annotations and paired clean background videos, and evaluate performance using both reference-based and reference-free perceptual metrics. Experiments demonstrate that PISCO consistently outperforms strong inpainting and video editing baselines under sparse control, and exhibits clear, monotonic performance improvements as additional control signals are provided. Project page: xiangbogaobarry.github.io/PISCO.