Kiwi-Edit: Edição de Vídeo Versátil por Meio de Instrução e Orientação por Referência
Kiwi-Edit: Versatile Video Editing via Instruction and Reference Guidance
March 2, 2026
Autores: Yiqi Lin, Guoqiang Liang, Ziyun Zeng, Zechen Bai, Yanzhe Chen, Mike Zheng Shou
cs.AI
Resumo
A edição de vídeo baseada em instruções tem testemunhado progressos rápidos, contudo, os métodos atuais frequentemente lutam com o controle visual preciso, uma vez que a linguagem natural é inerentemente limitada para descrever nuances visuais complexas. Embora a edição guiada por referência ofereça uma solução robusta, seu potencial está atualmente limitado pela escassez de dados de treinamento pareados de alta qualidade. Para preencher esta lacuna, introduzimos um pipeline escalável de geração de dados que transforma pares existentes de edição de vídeo em quartetos de treinamento de alta fidelidade, aproveitando modelos generativos de imagem para criar estruturas de referência sintetizadas. Utilizando este pipeline, construímos o RefVIE, um conjunto de dados em larga escala adaptado para tarefas de seguimento de instruções e referência, e estabelecemos o RefVIE-Bench para avaliação abrangente. Além disso, propomos uma arquitetura de edição unificada, a Kiwi-Edit, que sinergiza consultas aprendíveis e características visuais latentes para orientação semântica de referência. Nosso modelo alcança ganhos significativos no seguimento de instruções e na fidelidade de referência através de um currículo de treinamento progressivo multiestágio. Experimentos extensivos demonstram que nossos dados e arquitetura estabelecem um novo estado da arte em edição de vídeo controlável. Todos os conjuntos de dados, modelos e código são disponibilizados em https://github.com/showlab/Kiwi-Edit.
English
Instruction-based video editing has witnessed rapid progress, yet current methods often struggle with precise visual control, as natural language is inherently limited in describing complex visual nuances. Although reference-guided editing offers a robust solution, its potential is currently bottlenecked by the scarcity of high-quality paired training data. To bridge this gap, we introduce a scalable data generation pipeline that transforms existing video editing pairs into high-fidelity training quadruplets, leveraging image generative models to create synthesized reference scaffolds. Using this pipeline, we construct RefVIE, a large-scale dataset tailored for instruction-reference-following tasks, and establish RefVIE-Bench for comprehensive evaluation. Furthermore, we propose a unified editing architecture, Kiwi-Edit, that synergizes learnable queries and latent visual features for reference semantic guidance. Our model achieves significant gains in instruction following and reference fidelity via a progressive multi-stage training curriculum. Extensive experiments demonstrate that our data and architecture establish a new state-of-the-art in controllable video editing. All datasets, models, and code is released at https://github.com/showlab/Kiwi-Edit.