Kiwi-Edit: Veelzijdige videobewerking via instructie- en referentierichtlijnen
Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance
March 2, 2026
Auteurs: Yiqi Lin, Guoqiang Liang, Ziyun Zeng, Zechen Bai, Yanzhe Chen, Mike Zheng Shou
cs.AI
Samenvatting
Instructiegestuurd videobewerken heeft een snelle vooruitgang geboekt, maar huidige methoden worstelen vaak met precieze visuele controle, omdat natuurlijke taal inherent beperkt is in het beschrijven van complexe visuele nuances. Hoewel referentiegestuurde bewerking een robuuste oplossing biedt, wordt het potentieel ervan momenteel beperkt door de schaarste aan hoogwaardige gepaarde trainingsdata. Om deze kloof te overbruggen, introduceren we een schaalbare pijplijn voor datageneratie die bestaande videobewerkingsparen omzet in hoogwaardige trainingsquadrupletten, waarbij gebruik wordt gemaakt van beeldgeneratieve modellen om gesynthetiseerde referentiescaffolds te creëren. Met deze pijplijn construeren we RefVIE, een grootschalige dataset toegesneden op instructie-referentie-volgtaken, en stellen we RefVIE-Bench op voor uitgebreide evaluatie. Verder stellen we een uniforme bewerkingsarchitectuur voor, Kiwi-Edit, die leerbare queries en latente visuele kenmerken combineert voor referentiesemantische begeleiding. Ons model behaalt aanzienlijke verbeteringen in het volgen van instructies en referentietrouw via een progressieve meerfasen trainingscurriculum. Uitgebreide experimenten tonen aan dat onze data en architectuur een nieuwe staat-van-de-kunst vestigen in controleerbare videobewerking. Alle datasets, modellen en code zijn vrijgegeven op https://github.com/showlab/Kiwi-Edit.
English
Instruction-based video editing has witnessed rapid progress, yet current methods often struggle with precise visual control, as natural language is inherently limited in describing complex visual nuances. Although reference-guided editing offers a robust solution, its potential is currently bottlenecked by the scarcity of high-quality paired training data. To bridge this gap, we introduce a scalable data generation pipeline that transforms existing video editing pairs into high-fidelity training quadruplets, leveraging image generative models to create synthesized reference scaffolds. Using this pipeline, we construct RefVIE, a large-scale dataset tailored for instruction-reference-following tasks, and establish RefVIE-Bench for comprehensive evaluation. Furthermore, we propose a unified editing architecture, Kiwi-Edit, that synergizes learnable queries and latent visual features for reference semantic guidance. Our model achieves significant gains in instruction following and reference fidelity via a progressive multi-stage training curriculum. Extensive experiments demonstrate that our data and architecture establish a new state-of-the-art in controllable video editing. All datasets, models, and code is released at https://github.com/showlab/Kiwi-Edit.