FFP-300K: Escalado de la Propagación del Primer Fotograma para la Edición de Video Generalizable
FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing
January 5, 2026
Autores: Xijie Huang, Chengming Xu, Donghao Luo, Xiaobin Hu, Peng Tang, Xu Peng, Jiangning Zhang, Chengjie Wang, Yanwei Fu
cs.AI
Resumen
La Propagación del Primer Fotograma (FFP) representa un paradigma prometedor para la edición de video controlable, pero los métodos existentes se ven limitados por su dependencia de guías en tiempo de ejecución que resultan engorrosas. Identificamos como causa principal de esta limitación la insuficiencia de los conjuntos de datos de entrenamiento actuales, que suelen ser demasiado cortos, de baja resolución y carecen de la diversidad de tareas necesaria para enseñar *priors* temporales robustos. Para abordar esta brecha de datos fundamental, primero presentamos FFP-300K, un nuevo conjunto de datos a gran escala que comprende 300.000 pares de video de alta fidelidad con resolución 720p y 81 fotogramas de longitud, construido mediante un *pipeline* fundamentado de dos vías para realizar ediciones locales y globales diversas. Sobre la base de este conjunto de datos, proponemos un nuevo marco diseñado para un FFP verdaderamente libre de guías, que resuelve la tensión crítica entre mantener la apariencia del primer fotograma y preservar el movimiento del video fuente. A nivel arquitectónico, introducimos el RoPE Espacio-Temporal Adaptativo (AST-RoPE), que reasigna dinámicamente las codificaciones posicionales para desentrañar las referencias de apariencia y movimiento. A nivel del objetivo, empleamos una estrategia de auto-distilación en la que una tarea de propagación de identidad actúa como un potente regularizador, garantizando la estabilidad temporal a largo plazo y previniendo la deriva semántica. Experimentos exhaustivos en el benchmark EditVerseBench demuestran que nuestro método supera significativamente a los modelos académicos y comerciales existentes, al obtener una mejora de aproximadamente 0.2 puntos en PickScore y 0.3 puntos en VLM Score frente a estos competidores.
English
First-Frame Propagation (FFP) offers a promising paradigm for controllable video editing, but existing methods are hampered by a reliance on cumbersome run-time guidance. We identify the root cause of this limitation as the inadequacy of current training datasets, which are often too short, low-resolution, and lack the task diversity required to teach robust temporal priors. To address this foundational data gap, we first introduce FFP-300K, a new large-scale dataset comprising 300K high-fidelity video pairs at 720p resolution and 81 frames in length, constructed via a principled two-track pipeline for diverse local and global edits. Building on this dataset, we propose a novel framework designed for true guidance-free FFP that resolves the critical tension between maintaining first-frame appearance and preserving source video motion. Architecturally, we introduce Adaptive Spatio-Temporal RoPE (AST-RoPE), which dynamically remaps positional encodings to disentangle appearance and motion references. At the objective level, we employ a self-distillation strategy where an identity propagation task acts as a powerful regularizer, ensuring long-term temporal stability and preventing semantic drift. Comprehensive experiments on the EditVerseBench benchmark demonstrate that our method significantly outperforming existing academic and commercial models by receiving about 0.2 PickScore and 0.3 VLM score improvement against these competitors.