Goku : Un ensemble de données universel à l'échelle du million et un benchmark pour l'édition vidéo basée sur des instructions

Résumé

Les ensembles de données existants pour l'édition vidéo basée sur des instructions se concentrent généralement sur l'édition d'apparence mono-tâche, ce qui ne répond pas aux exigences créatives complexes des scénarios réels. Pour combler cette lacune, nous présentons Goku, un ensemble de données à grande échelle comprenant 2 millions de paires d'édition vidéo de haute qualité et alignées sur des instructions. Il s'agit du premier à étendre les limites des tâches, passant de l'édition d'apparence basique à des manipulations multi-tâches et structurelles (par exemple, le contrôle précis du mouvement des sujets). Pour relever les défis de synthèse de données inhérents à ces tâches complexes, nous concevons un pipeline de synthèse de données efficace qui décompose les éditions complexes en sous-problèmes contrôlables, et nous introduisons un système de filtrage progressif pour garantir la fiabilité des données tout au long du processus. En outre, nous explorons les structures de réseau optimales sur Goku et proposons Goku-Edit. Afin de comprendre en profondeur des instructions d'édition complexes, Goku-Edit utilise un MLLM comme encodeur de texte et adopte une conception à deux branches découplées : une branche de masque dédiée gère le contrôle structurel, libérant ainsi la branche principale pour le rendu d'apparence. Un benchmark complet d'édition vidéo, Goku-Bench, est également proposé, avec 1 000 cas de test vérifiés par des humains et 7 nouvelles métriques spécifiques à l'édition. Évalué sur Goku-Bench, Goku-Edit obtient jusqu'à +8 % d'amélioration par rapport aux autres modèles open-source en termes de suivi des instructions.

English

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.