Goku: Ein universeller Datensatz und Benchmark im Millionenmaßstab für anweisungsbasierte Videobearbeitung

Zusammenfassung

Bestehende instruktionsbasierte Videobearbeitungsdatensätze konzentrieren sich üblicherweise auf die Einzelaufgaben-Bearbeitung des Erscheinungsbilds und erfüllen damit nicht die komplexen kreativen Anforderungen realer Szenarien. Um diese Lücke zu schließen, präsentieren wir Goku, einen umfangreichen Datensatz mit 2 Millionen hochwertigen, instruktionskonformen Videobearbeitungspaaren, der als erster die Aufgabengrenzen von der grundlegenden Erscheinungsbildbearbeitung auf Mehrfachaufgaben und strukturelle Manipulationen (z. B. präzise Steuerung von Subjektbewegungen) erweitert. Um den Herausforderungen der Datensynthese bei diesen komplexen Aufgaben zu begegnen, entwickeln wir eine effiziente Datensynthesepipeline, die komplexe Bearbeitungen in kontrollierbare Teilprobleme zerlegt, und führen ein progressives Filtersystem für die Datenzuverlässigkeit während des gesamten Prozesses ein. Darüber hinaus untersuchen wir die optimalen Netzwerkstrukturen auf Goku und schlagen Goku-Edit vor. Um komplexe Bearbeitungsanweisungen tiefgehend zu verstehen, nutzt Goku-Edit ein MLLM als Text-Encoder und übernimmt ein entkoppeltes Zweig-Design: Ein dedizierter Maskenzweig übernimmt die strukturelle Steuerung, während der Hauptzweig für die Erscheinungsbildrendering zuständig ist. Ein umfassender Videobearbeitungs-Benchmark, Goku-Bench, wird ebenfalls mit 1.000 manuell verifizierten Testfällen und 7 neuen bearbeitungsspezifischen Metriken vorgeschlagen. Bei der Evaluierung auf Goku-Bench erzielt Goku-Edit eine Verbesserung von bis zu +8 % gegenüber anderen Open-Source-Modellen hinsichtlich der Befolgungsgenauigkeit von Anweisungen.

English

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.