Goku: Un Dataset y Benchmark Universal a Escala de Millones para Edición de Video Basada en Instrucciones

Resumen

Los conjuntos de datos de edición de video basados en instrucciones existentes suelen centrarse en la edición de apariencia de una sola tarea, sin satisfacer las complejas demandas creativas de escenarios del mundo real. Para superar esta limitación, presentamos Goku, un conjunto de datos a gran escala que contiene 2 millones de pares de edición de video de alta calidad y alineados con instrucciones, siendo el primero en extender los límites de las tareas desde la edición básica de apariencia hacia manipulaciones estructurales y multitarea (por ejemplo, control preciso del movimiento del sujeto). Para abordar los desafíos de síntesis de datos inherentes a estas tareas complejas, diseñamos un pipeline eficiente de síntesis de datos que descompone ediciones complejas en subproblemas controlables e introducimos un sistema de filtrado progresivo para garantizar la confiabilidad de los datos durante todo el proceso. Además, exploramos las estructuras de red óptimas en Goku y proponemos Goku-Edit. Para comprender a fondo las instrucciones de edición complejas, Goku-Edit utiliza un MLLM como codificador de texto y adopta un diseño de rama dual desacoplada: una rama de máscara dedicada maneja el control estructural, liberando a la rama principal para la representación de apariencia. También se propone un punto de referencia integral de edición de video, Goku-Bench, con 1,000 casos de prueba verificados por humanos y 7 nuevas métricas específicas de edición. Evaluado en Goku-Bench, Goku-Edit obtiene una mejora de hasta +8% en el seguimiento de instrucciones en comparación con otros modelos de código abierto.

English

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.