Kiwi-Edit: Edición de Vídeo Versátil mediante Instrucción y Guía de Referencia
Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance
March 2, 2026
Autores: Yiqi Lin, Guoqiang Liang, Ziyun Zeng, Zechen Bai, Yanzhe Chen, Mike Zheng Shou
cs.AI
Resumen
La edición de vídeo basada en instrucciones ha experimentado un rápido progreso, aunque los métodos actuales a menudo presentan dificultades para un control visual preciso, ya que el lenguaje natural es inherentemente limitado para describir matices visuales complejos. Si bien la edición guiada por referencia ofrece una solución robusta, su potencial se ve actualmente limitado por la escasez de datos de entrenamiento pareados de alta calidad. Para salvar esta brecha, presentamos un pipeline escalable de generación de datos que transforma pares existentes de edición de vídeo en cuartetos de entrenamiento de alta fidelidad, aprovechando modelos generativos de imágenes para crear andamios de referencia sintetizados. Utilizando este pipeline, construimos RefVIE, un conjunto de datos a gran escala diseñado para tareas de seguimiento de instrucciones y referencias, y establecemos RefVIE-Bench para una evaluación exhaustiva. Además, proponemos una arquitectura de edición unificada, Kiwi-Edit, que sinergiza consultas aprendibles y características visuales latentes para la guía semántica de referencia. Nuestro modelo logra mejoras significativas en el seguimiento de instrucciones y la fidelidad a la referencia mediante un plan de entrenamiento progresivo multi-etapa. Experimentos exhaustivos demuestran que nuestros datos y arquitectura establecen un nuevo estado del arte en la edición de vídeo controlable. Todos los conjuntos de datos, modelos y código se publican en https://github.com/showlab/Kiwi-Edit.
English
Instruction-based video editing has witnessed rapid progress, yet current methods often struggle with precise visual control, as natural language is inherently limited in describing complex visual nuances. Although reference-guided editing offers a robust solution, its potential is currently bottlenecked by the scarcity of high-quality paired training data. To bridge this gap, we introduce a scalable data generation pipeline that transforms existing video editing pairs into high-fidelity training quadruplets, leveraging image generative models to create synthesized reference scaffolds. Using this pipeline, we construct RefVIE, a large-scale dataset tailored for instruction-reference-following tasks, and establish RefVIE-Bench for comprehensive evaluation. Furthermore, we propose a unified editing architecture, Kiwi-Edit, that synergizes learnable queries and latent visual features for reference semantic guidance. Our model achieves significant gains in instruction following and reference fidelity via a progressive multi-stage training curriculum. Extensive experiments demonstrate that our data and architecture establish a new state-of-the-art in controllable video editing. All datasets, models, and code is released at https://github.com/showlab/Kiwi-Edit.