Unified Video Editing met Temporele Redeneerder
Unified Video Editing with Temporal Reasoner
December 8, 2025
Auteurs: Xiangpeng Yang, Ji Xie, Yiyuan Yang, Yan Huang, Min Xu, Qiang Wu
cs.AI
Samenvatting
Bestaande videobewerkingsmethoden kampen met een fundamentele afweging: gespecialiseerde expertmodellen bieden precisie maar steunen op taakspecifieke prior kennis zoals maskers, wat unificatie belemmert; geünificeerde temporele in-context leermodellen daarentegen zijn maskervrij maar missen expliciete ruimtelijke aanwijzingen, wat leidt tot zwakke instructie-naar-regio mapping en onnauwkeurige lokalisatie. Om dit conflict op te lossen, presenteren wij VideoCoF, een nieuwe Chain-of-Frames aanpak geïnspireerd door Chain-of-Thought redenering. VideoCoF dwingt een "zien, redeneren, dan bewerken" procedure af door het videodiffusiemodel eerst redeneertokens (bewerkingsregio latenties) te laten voorspellen alvorens de doelvideotokens te genereren. Deze expliciete redeneringsstap elimineert de noodzaak van door gebruikers verstrekte maskers terwijl precieze instructie-naar-regio afstemming en fijnmazige videobewerking wordt bereikt. Verder introduceren wij een RoPE-afstemmingsstrategie die deze redeneertokens benut om bewegingsovereenstemming te garanderen en lengte-extrapolatie voorbij de trainingsduur mogelijk te maken. Wij tonen aan dat met minimale datakosten van slechts 50k videoparen, VideoCoF state-of-the-art prestaties bereikt op VideoCoF-Bench, wat de efficiëntie en effectiviteit van onze aanpak valideert. Onze code, gewichten en data zijn beschikbaar op https://github.com/knightyxp/VideoCoF.
English
Existing video editing methods face a critical trade-off: expert models offer precision but rely on task-specific priors like masks, hindering unification; conversely, unified temporal in-context learning models are mask-free but lack explicit spatial cues, leading to weak instruction-to-region mapping and imprecise localization. To resolve this conflict, we propose VideoCoF, a novel Chain-of-Frames approach inspired by Chain-of-Thought reasoning. VideoCoF enforces a ``see, reason, then edit" procedure by compelling the video diffusion model to first predict reasoning tokens (edit-region latents) before generating the target video tokens. This explicit reasoning step removes the need for user-provided masks while achieving precise instruction-to-region alignment and fine-grained video editing. Furthermore, we introduce a RoPE alignment strategy that leverages these reasoning tokens to ensure motion alignment and enable length extrapolation beyond the training duration. We demonstrate that with a minimal data cost of only 50k video pairs, VideoCoF achieves state-of-the-art performance on VideoCoF-Bench, validating the efficiency and effectiveness of our approach. Our code, weight, data are available at https://github.com/knightyxp/VideoCoF.