FFP-300K : Mise à l'échelle de la propagation par première image pour l'édition vidéo généralisable

FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing

January 5, 2026

papers.authors: Xijie Huang, Chengming Xu, Donghao Luo, Xiaobin Hu, Peng Tang, Xu Peng, Jiangning Zhang, Chengjie Wang, Yanwei Fu

cs.AI

papers.abstract

La Propagation par Première Image (FFP) représente un paradigme prometteur pour l'édition vidéo contrôlable, mais les méthodes existantes sont entravées par leur dépendance à des guidages en temps d'exécution lourds. Nous identifions la cause fondamentale de cette limitation comme étant l'inadéquation des jeux de données d'entraînement actuels, souvent trop courts, en basse résolution, et manquant de la diversité de tâches nécessaire pour enseigner des préalables temporels robustes. Pour combler ce déficit de données fondamental, nous introduisons d'abord FFP-300K, un nouveau jeu de données à grande échelle comprenant 300 000 paires vidéo haute fidélité en résolution 720p et d'une longueur de 81 images, construit via un pipeline structuré à deux volets pour des modifications locales et globales variées. S'appuyant sur ce jeu de données, nous proposons une nouvelle architecture conçue pour une FFP véritablement sans guidage, résolvant la tension critique entre le maintien de l'apparence de la première image et la préservation du mouvement de la vidéo source. Sur le plan architectural, nous introduisons le RoPE Spatio-Temporel Adaptatif (AST-RoPE), qui remappe dynamiquement les encodages positionnels pour dissocier les références d'apparence et de mouvement. Au niveau de l'objectif, nous employons une stratégie d'auto-distillation où une tâche de propagation d'identité agit comme un régularisateur puissant, garantissant une stabilité temporelle à long terme et empêchant la dérive sémantique. Des expériences exhaustives sur le benchmark EditVerseBench démontrent que notre méthode surpasse significativement les modèles académiques et commerciaux existants, avec une amélioration d'environ 0,2 point sur le PickScore et 0,3 point sur le score VLM par rapport à ces concurrents.

English

First-Frame Propagation (FFP) offers a promising paradigm for controllable video editing, but existing methods are hampered by a reliance on cumbersome run-time guidance. We identify the root cause of this limitation as the inadequacy of current training datasets, which are often too short, low-resolution, and lack the task diversity required to teach robust temporal priors. To address this foundational data gap, we first introduce FFP-300K, a new large-scale dataset comprising 300K high-fidelity video pairs at 720p resolution and 81 frames in length, constructed via a principled two-track pipeline for diverse local and global edits. Building on this dataset, we propose a novel framework designed for true guidance-free FFP that resolves the critical tension between maintaining first-frame appearance and preserving source video motion. Architecturally, we introduce Adaptive Spatio-Temporal RoPE (AST-RoPE), which dynamically remaps positional encodings to disentangle appearance and motion references. At the objective level, we employ a self-distillation strategy where an identity propagation task acts as a powerful regularizer, ensuring long-term temporal stability and preventing semantic drift. Comprehensive experiments on the EditVerseBench benchmark demonstrate that our method significantly outperforming existing academic and commercial models by receiving about 0.2 PickScore and 0.3 VLM score improvement against these competitors.