FFP-300K: Skalierung der First-Frame-Propagation für generalisierbare Videobearbeitung

FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing

January 5, 2026

papers.authors: Xijie Huang, Chengming Xu, Donghao Luo, Xiaobin Hu, Peng Tang, Xu Peng, Jiangning Zhang, Chengjie Wang, Yanwei Fu

cs.AI

papers.abstract

First-Frame Propagation (FFP) bietet ein vielversprechendes Paradigma für kontrollierbare Videobearbeitung, doch bestehende Methoden werden durch ihre Abhängigkeit von aufwändiger Laufzeit-Steuerung eingeschränkt. Wir identifizieren die Ursache dieser Limitation in der Unzulänglichkeit aktueller Trainingsdatensätze, die oft zu kurz, zu niedrigauflösend sind und nicht die notwendige Aufgabenvielfalt aufweisen, um robuste temporale Priors zu erlernen. Um diese grundlegende Datenlücke zu schließen, stellen wir zunächst FFP-300K vor – einen neuen, großangelegten Datensatz mit 300.000 hochwertigen Videopaaren in 720p-Auflösung und 81 Frames Länge, der durch eine prinzipiengeleitete Zwei-Spur-Pipeline für diverse lokale und globale Bearbeitungen erstellt wurde. Aufbauend auf diesem Datensatz schlagen wir ein neuartiges Framework für echt steuerungsfreie FFP vor, das den kritischen Zielkonflikt zwischen der Bewahrung der First-Frame-Erscheinung und der Erhaltung der Quellvideo-Bewegung löst. Architektonisch führen wir Adaptive Spatio-Temporal RoPE (AST-RoPE) ein, das Positionskodierungen dynamisch neu zuordnet, um Erscheinungs- und Bewegungsreferenzen zu entkoppeln. Auf der Ebene der Lernziele setzen wir eine Self-Distillation-Strategie ein, bei der eine Identitätspropagierungsaufgabe als starker Regularisierer wirkt, um langfristige temporale Stabilität zu gewährleisten und semantische Drifts zu verhindern. Umfassende Experimente auf dem EditVerseBench-Benchmark zeigen, dass unsere Methode bestehende akademische und kommerzielle Modelle signifikant übertrifft, indem sie etwa 0,2 Punkte im PickScore und 0,3 Punkte im VLM-Score gegenüber diesen Wettbewerbern verbessert.

English

First-Frame Propagation (FFP) offers a promising paradigm for controllable video editing, but existing methods are hampered by a reliance on cumbersome run-time guidance. We identify the root cause of this limitation as the inadequacy of current training datasets, which are often too short, low-resolution, and lack the task diversity required to teach robust temporal priors. To address this foundational data gap, we first introduce FFP-300K, a new large-scale dataset comprising 300K high-fidelity video pairs at 720p resolution and 81 frames in length, constructed via a principled two-track pipeline for diverse local and global edits. Building on this dataset, we propose a novel framework designed for true guidance-free FFP that resolves the critical tension between maintaining first-frame appearance and preserving source video motion. Architecturally, we introduce Adaptive Spatio-Temporal RoPE (AST-RoPE), which dynamically remaps positional encodings to disentangle appearance and motion references. At the objective level, we employ a self-distillation strategy where an identity propagation task acts as a powerful regularizer, ensuring long-term temporal stability and preventing semantic drift. Comprehensive experiments on the EditVerseBench benchmark demonstrate that our method significantly outperforming existing academic and commercial models by receiving about 0.2 PickScore and 0.3 VLM score improvement against these competitors.