Goku: Een miljoenschaal universele dataset en benchmark voor instructiegebaseerde videobewerking

Samenvatting

Bestaande instructiegebaseerde videobewerkingsdatasets richten zich doorgaans op enkelvoudige uiterlijkbewerkingen, waarmee ze niet voldoen aan de complexe creatieve eisen van realistische scenario’s. Om dit gat te dichten presenteren we Goku, een grootschalige dataset met 2 miljoen hoogwaardige, instructie-afgestemde videobewerkingsparen. Dit is de eerste dataset die de taakgrenzen uitbreidt van basisuiterlijkbewerkingen naar multitaak- en structurele manipulaties (bijv. nauwkeurige controle van onderwerpsbeweging). Om de datasynthesuitdagingen die inherent zijn aan deze complexe taken aan te pakken, ontwerpen we een efficiënte datasynthpijplijn die complexe bewerkingen opsplitst in beheersbare subproblemen en introduceren we een progressief filtersysteem voor gegevensbetrouwbaarheid gedurende het hele proces. Verder onderzoeken we de optimale netwerkstructuren op Goku en stellen we Goku-Edit voor. Om complexe bewerkingsinstructies diepgaand te begrijpen, maakt Goku-Edit gebruik van een MLLM als zijn tekstencoder en hanteert een ontkoppeld tweevaksontwerp: een speciale maskertak handelt structurele controle af, zodat de hoofdtak zich kan richten op uiterlijkweergave. Ook wordt een uitgebreide videobewerkingsbenchmark, Goku-Bench, voorgesteld met 1.000 menselijk geverifieerde testgevallen en 7 nieuwe bewerkingsspecifieke metrieken. Geëvalueerd op Goku-Bench behaalt Goku-Edit een verbetering van maximaal +8% ten opzichte van andere open-sourcemodellen wat betreft instructieopvolging.

English

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.