PISCO: Präzise Videoinstanz-Einfügung mit spärlicher Steuerung
PISCO: Precise Video Instance Insertion with Sparse Control
February 9, 2026
papers.authors: Xiangbo Gao, Renjie Li, Xinghao Chen, Yuheng Wu, Suofei Feng, Qing Yin, Zhengzhong Tu
cs.AI
papers.abstract
Die Landschaft der KI-Videogenerierung durchläuft einen entscheidenden Wandel: weg von der allgemeinen Generierung – die auf aufwändiger Prompt-Engineering und „Cherry-Picking“ basiert – hin zu fein granulärer, steuerbarer Generierung und hochwertiger Nachbearbeitung. Im professionellen KI-gestützten Filmemachen ist es entscheidend, präzise, zielgerichtete Modifikationen vorzunehmen. Ein Grundpfeiler dieses Übergangs ist die Videoinstanz-Einfügung, bei der eine bestimmte Instanz in bestehendes Filmmaterial eingefügt werden muss, während die Szenenintegrität erhalten bleibt. Im Gegensatz zur traditionellen Videobearbeitung erfordert diese Aufgabe mehrere Bedingungen: präzise räumlich-zeitliche Platzierung, physikalisch konsistente Szeneninteraktion und die originalgetreue Bewahrung der ursprünglichen Dynamik – alles mit minimalem Benutzeraufwand. In diesem Artikel stellen wir PISCO vor, ein Video-Diffusionsmodell zur präzisen Videoinstanz-Einfügung mit beliebiger Steuerung durch spärliche Keyframes. PISCO ermöglicht es Benutzern, einen einzelnen Keyframe, Start- und End-Keyframes oder spärliche Keyframes zu beliebigen Zeitpunkten festzulegen, und propagiert automatisch das Objekterscheinungsbild, die Bewegung und die Interaktion. Um die schwerwiegende Distributionsverschiebung zu adressieren, die durch spärliche Konditionierung in vortrainierten Video-Diffusionsmodellen verursacht wird, führen wir eine Variable-Information Guidance für robuste Konditionierung und ein Distribution-Preserving Temporal Masking zur Stabilisierung der zeitlichen Generierung ein, ergänzt durch geometrie-bewusste Konditionierung für realistische Szenenanpassung. Wir erstellen weiterhin PISCO-Bench, einen Benchmark mit verifizierten Instanz-Annotationen und gepaarten sauberen Hintergrundvideos, und bewerten die Leistung anhand sowohl referenzbasierter als auch referenzfreier wahrnehmungsbezogener Metriken. Experimente zeigen, dass PISCO unter spärlicher Steuerung durchweg starke Inpainting- und Videobearbeitungs-Baselines übertrifft und klare, monotone Leistungsverbesserungen zeigt, sobald zusätzliche Steuersignale bereitgestellt werden. Projektseite: xiangbogaobarry.github.io/PISCO.
English
The landscape of AI video generation is undergoing a pivotal shift: moving beyond general generation - which relies on exhaustive prompt-engineering and "cherry-picking" - towards fine-grained, controllable generation and high-fidelity post-processing. In professional AI-assisted filmmaking, it is crucial to perform precise, targeted modifications. A cornerstone of this transition is video instance insertion, which requires inserting a specific instance into existing footage while maintaining scene integrity. Unlike traditional video editing, this task demands several requirements: precise spatial-temporal placement, physically consistent scene interaction, and the faithful preservation of original dynamics - all achieved under minimal user effort. In this paper, we propose PISCO, a video diffusion model for precise video instance insertion with arbitrary sparse keyframe control. PISCO allows users to specify a single keyframe, start-and-end keyframes, or sparse keyframes at arbitrary timestamps, and automatically propagates object appearance, motion, and interaction. To address the severe distribution shift induced by sparse conditioning in pretrained video diffusion models, we introduce Variable-Information Guidance for robust conditioning and Distribution-Preserving Temporal Masking to stabilize temporal generation, together with geometry-aware conditioning for realistic scene adaptation. We further construct PISCO-Bench, a benchmark with verified instance annotations and paired clean background videos, and evaluate performance using both reference-based and reference-free perceptual metrics. Experiments demonstrate that PISCO consistently outperforms strong inpainting and video editing baselines under sparse control, and exhibits clear, monotonic performance improvements as additional control signals are provided. Project page: xiangbogaobarry.github.io/PISCO.