FFP-300K: Масштабирование распространения по первому кадру для обобщаемого редактирования видео

FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing

January 5, 2026

Авторы: Xijie Huang, Chengming Xu, Donghao Luo, Xiaobin Hu, Peng Tang, Xu Peng, Jiangning Zhang, Chengjie Wang, Yanwei Fu

cs.AI

Аннотация

Пропагация первого кадра (FFP) представляет собой перспективную парадигму для управляемого редактирования видео, однако существующие методы ограничены зависимостью от громоздких методов run-time guidance. Мы определяем коренную причину этого ограничения в неадекватности текущих обучающих наборов данных, которые часто являются слишком короткими, имеют низкое разрешение и недостаточное разнообразие задач, необходимое для обучения устойчивым временным priors. Для устранения этого фундаментального пробела в данных мы сначала представляем FFP-300K — новый масштабный набор данных, содержащий 300 тысяч пар видео высокой четкости с разрешением 720p и длиной 81 кадр, созданный по принципиальному двухтрековому пайплайну для разнообразных локальных и глобальных правок. На основе этого набора данных мы предлагаем новую архитектуру, предназначенную для подлинно безгидовой FFP, которая разрешает ключевое противоречие между сохранением внешнего вида первого кадра и движений исходного видео. На архитектурном уровне мы вводим Adaptive Spatio-Temporal RoPE (AST-RoPE), которая динамически перестраивает позиционные кодировки для разделения ссылок на внешний вид и движение. На уровне целевой функции мы используем стратегию самодистилляции, где задача идентификационной пропагации выступает в качестве мощного регуляризатора, обеспечивая долгосрочную временную стабильность и предотвращая семантический дрейф. Комплексные эксперименты на бенчмарке EditVerseBench демонстрируют, что наш метод значительно превосходит существующие академические и коммерческие модели, показывая улучшение примерно на 0.2 балла по PickScore и на 0.3 балла по VLM Score по сравнению с этими конкурентами.

English

First-Frame Propagation (FFP) offers a promising paradigm for controllable video editing, but existing methods are hampered by a reliance on cumbersome run-time guidance. We identify the root cause of this limitation as the inadequacy of current training datasets, which are often too short, low-resolution, and lack the task diversity required to teach robust temporal priors. To address this foundational data gap, we first introduce FFP-300K, a new large-scale dataset comprising 300K high-fidelity video pairs at 720p resolution and 81 frames in length, constructed via a principled two-track pipeline for diverse local and global edits. Building on this dataset, we propose a novel framework designed for true guidance-free FFP that resolves the critical tension between maintaining first-frame appearance and preserving source video motion. Architecturally, we introduce Adaptive Spatio-Temporal RoPE (AST-RoPE), which dynamically remaps positional encodings to disentangle appearance and motion references. At the objective level, we employ a self-distillation strategy where an identity propagation task acts as a powerful regularizer, ensuring long-term temporal stability and preventing semantic drift. Comprehensive experiments on the EditVerseBench benchmark demonstrate that our method significantly outperforming existing academic and commercial models by receiving about 0.2 PickScore and 0.3 VLM score improvement against these competitors.