Goku: Um Conjunto de Dados Universal em Escala de Milhões e um Benchmark para Edição de Vídeo Baseada em Instruções

Resumo

Conjuntos de dados existentes de edição de vídeo baseada em instruções geralmente se concentram em edição de aparência de tarefa única, não atendendo às demandas criativas complexas de cenários do mundo real. Para preencher essa lacuna, apresentamos o Goku, um conjunto de dados em larga escala com 2 milhões de pares de edição de vídeo de alta qualidade e alinhados a instruções, sendo o primeiro a expandir os limites das tarefas, da edição básica de aparência para manipulações multi-tarefa e estruturais (por exemplo, controle preciso do movimento do sujeito). Para enfrentar os desafios de síntese de dados inerentes a essas tarefas complexas, projetamos um pipeline eficiente de síntese de dados que decompõe edições complexas em subproblemas controláveis e introduzimos um sistema de filtragem progressiva para garantir a confiabilidade dos dados ao longo de todo o processo. Além disso, exploramos as estruturas de rede ideais no Goku e propomos o Goku-Edit. Para compreender profundamente instruções de edição complexas, o Goku-Edit utiliza um MLLM como seu codificador de texto e adota um design de ramo duplo desacoplado: um ramo de máscara dedicado lida com o controle estrutural, liberando o ramo principal para a renderização de aparência. Um benchmark abrangente de edição de vídeo, Goku-Bench, também é proposto, com 1.000 casos de teste verificados por humanos e 7 novas métricas específicas de edição. Avaliado no Goku-Bench, o Goku-Edit obtém uma melhoria de até +8% em relação a outros modelos de código aberto no quesito de seguir instruções.

English

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.