Kiwi-Edit: Editing Video Versatile tramite Istruzioni e Guida di Riferimento
Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance
March 2, 2026
Autori: Yiqi Lin, Guoqiang Liang, Ziyun Zeng, Zechen Bai, Yanzhe Chen, Mike Zheng Shou
cs.AI
Abstract
L'editing video basato su istruzioni ha registrato rapidi progressi, ma i metodi attuali spesso faticano a garantire un controllo visivo preciso, poiché il linguaggio naturale è intrinsecamente limitato nel descrivere complesse sfumature visive. Sebbene l'editing guidato da riferimento offra una soluzione robusta, il suo potenziale è attualmente limitato dalla scarsità di dati di training accoppiati di alta qualità. Per colmare questa lacuna, introduciamo una pipeline scalabile per la generazione di dati che trasforma coppie esistenti di editing video in quadruplette di addestramento ad alta fedeltà, sfruttando modelli generativi di immagini per creare scaffold di riferimento sintetizzati. Utilizzando questa pipeline, costruiamo RefVIE, un dataset su larga scala specifico per attività di seguito-istruzione-riferimento, e istituiamo RefVIE-Bench per una valutazione completa. Inoltre, proponiamo un'architettura di editing unificata, Kiwi-Edit, che sinergizza query apprendibili e caratteristiche visive latenti per la guida semantica di riferimento. Il nostro modello raggiunge miglioramenti significativi nel seguire le istruzioni e nella fedeltà al riferimento attraverso un curriculum di addestramento multi-stadio progressivo. Esperimenti estensivi dimostrano che i nostri dati e la nostra architettura stabiliscono un nuovo stato dell'arte nell'editing video controllabile. Tutti i dataset, i modelli e il codice sono rilasciati su https://github.com/showlab/Kiwi-Edit.
English
Instruction-based video editing has witnessed rapid progress, yet current methods often struggle with precise visual control, as natural language is inherently limited in describing complex visual nuances. Although reference-guided editing offers a robust solution, its potential is currently bottlenecked by the scarcity of high-quality paired training data. To bridge this gap, we introduce a scalable data generation pipeline that transforms existing video editing pairs into high-fidelity training quadruplets, leveraging image generative models to create synthesized reference scaffolds. Using this pipeline, we construct RefVIE, a large-scale dataset tailored for instruction-reference-following tasks, and establish RefVIE-Bench for comprehensive evaluation. Furthermore, we propose a unified editing architecture, Kiwi-Edit, that synergizes learnable queries and latent visual features for reference semantic guidance. Our model achieves significant gains in instruction following and reference fidelity via a progressive multi-stage training curriculum. Extensive experiments demonstrate that our data and architecture establish a new state-of-the-art in controllable video editing. All datasets, models, and code is released at https://github.com/showlab/Kiwi-Edit.