FFP-300K: Scalabilità della Propagazione del Primo Fotogramma per l'Editing Video Generalizzabile
FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing
January 5, 2026
Autori: Xijie Huang, Chengming Xu, Donghao Luo, Xiaobin Hu, Peng Tang, Xu Peng, Jiangning Zhang, Chengjie Wang, Yanwei Fu
cs.AI
Abstract
La propagazione dal primo fotogramma (FFP) rappresenta un paradigma promettente per l'editing video controllabile, ma i metodi esistenti sono ostacolati dalla dipendenza da una complessa guida in fase di esecuzione. Identifichiamo la causa principale di questa limitazione nell'inadeguatezza degli attuali dataset di addestramento, che sono spesso troppo brevi, a bassa risoluzione e privi della diversità di compiti necessaria per insegnare robusti prior temporali. Per colmare questa lacuna dati fondamentale, introduciamo innanzitutto FFP-300K, un nuovo dataset su larga scala composto da 300.000 coppie video ad alta fedeltà con risoluzione 720p e lunghezza di 81 fotogrammi, costruito tramite una pipeline bilanciata e metodica per editing locali e globali diversificati. Basandoci su questo dataset, proponiamo una nuova architettura progettata per una FFP veramente priva di guida, che risolve la tensione critica tra il mantenimento dell'aspetto del primo fotogramma e la preservazione del movimento del video sorgente. A livello architetturale, introduciamo l'Adaptive Spatio-Temporal RoPE (AST-RoPE), che rimappa dinamicamente le codifiche posizionali per separare i riferimenti di aspetto e movimento. A livello dell'obiettivo, impieghiamo una strategia di auto-distillazione in cui un compito di propagazione d'identità agisce come un potente regolarizzatore, garantendo stabilità temporale a lungo termine e prevenendo la deriva semantica. Esperimenti completi sul benchmark EditVerseBench dimostrano che il nostro metodo supera significativamente i modelli accademici e commerciali esistenti, ottenendo un miglioramento di circa 0,2 punti PickScore e 0,3 punti VLM rispetto a questi competitor.
English
First-Frame Propagation (FFP) offers a promising paradigm for controllable video editing, but existing methods are hampered by a reliance on cumbersome run-time guidance. We identify the root cause of this limitation as the inadequacy of current training datasets, which are often too short, low-resolution, and lack the task diversity required to teach robust temporal priors. To address this foundational data gap, we first introduce FFP-300K, a new large-scale dataset comprising 300K high-fidelity video pairs at 720p resolution and 81 frames in length, constructed via a principled two-track pipeline for diverse local and global edits. Building on this dataset, we propose a novel framework designed for true guidance-free FFP that resolves the critical tension between maintaining first-frame appearance and preserving source video motion. Architecturally, we introduce Adaptive Spatio-Temporal RoPE (AST-RoPE), which dynamically remaps positional encodings to disentangle appearance and motion references. At the objective level, we employ a self-distillation strategy where an identity propagation task acts as a powerful regularizer, ensuring long-term temporal stability and preventing semantic drift. Comprehensive experiments on the EditVerseBench benchmark demonstrate that our method significantly outperforming existing academic and commercial models by receiving about 0.2 PickScore and 0.3 VLM score improvement against these competitors.