FFP-300K: Escalonando a Propagação do Primeiro Quadro para Edição de Vídeo Generalizável
FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing
January 5, 2026
Autores: Xijie Huang, Chengming Xu, Donghao Luo, Xiaobin Hu, Peng Tang, Xu Peng, Jiangning Zhang, Chengjie Wang, Yanwei Fu
cs.AI
Resumo
A Propagação do Primeiro Frame (FFP) oferece um paradigma promissor para a edição de vídeo controlável, mas os métodos existentes são limitados pela dependência de orientações complexas em tempo de execução. Identificamos como causa raiz desta limitação a inadequação dos conjuntos de dados de treinamento atuais, que são frequentemente curtos, de baixa resolução e carecem da diversidade de tarefas necessária para ensinar priores temporais robustos. Para resolver esta lacuna de dados fundamental, introduzimos primeiro o FFP-300K, um novo conjunto de dados em larga escala composto por 300 mil pares de vídeo de alta fidelidade com resolução 720p e 81 quadros de duração, construído por meio de um pipeline estruturado de duas vertentes para edições locais e globais diversificadas. Com base neste conjunto de dados, propomos uma nova estrutura concebida para uma FFP verdadeiramente livre de orientação, que resolve a tensão crítica entre manter a aparência do primeiro frame e preservar o movimento do vídeo de origem. A nível arquitetónico, introduzimos a RoPE Espaço-Temporal Adaptativa (AST-RoPE), que remapeia dinamicamente as codificações posicionais para separar as referências de aparência e movimento. A nível objetivo, empregamos uma estratégia de auto-distilação em que uma tarefa de propagação de identidade atua como um poderoso regularizador, garantindo estabilidade temporal de longo prazo e prevenindo deriva semântica. Experimentos abrangentes no benchmark EditVerseBench demonstram que o nosso método supera significativamente os modelos académicos e comerciais existentes, obtendo uma melhoria de aproximadamente 0,2 pontos no PickScore e 0,3 pontos no VLM score em relação a estes concorrentes.
English
First-Frame Propagation (FFP) offers a promising paradigm for controllable video editing, but existing methods are hampered by a reliance on cumbersome run-time guidance. We identify the root cause of this limitation as the inadequacy of current training datasets, which are often too short, low-resolution, and lack the task diversity required to teach robust temporal priors. To address this foundational data gap, we first introduce FFP-300K, a new large-scale dataset comprising 300K high-fidelity video pairs at 720p resolution and 81 frames in length, constructed via a principled two-track pipeline for diverse local and global edits. Building on this dataset, we propose a novel framework designed for true guidance-free FFP that resolves the critical tension between maintaining first-frame appearance and preserving source video motion. Architecturally, we introduce Adaptive Spatio-Temporal RoPE (AST-RoPE), which dynamically remaps positional encodings to disentangle appearance and motion references. At the objective level, we employ a self-distillation strategy where an identity propagation task acts as a powerful regularizer, ensuring long-term temporal stability and preventing semantic drift. Comprehensive experiments on the EditVerseBench benchmark demonstrate that our method significantly outperforming existing academic and commercial models by receiving about 0.2 PickScore and 0.3 VLM score improvement against these competitors.