Goku: Универсальный датасет и бенчмарк масштаба миллиона для редактирования видео на основе инструкций

Аннотация

Существующие наборы данных для редактирования видео на основе инструкций, как правило, сосредоточены на редактировании внешнего вида в рамках одной задачи, что не соответствует сложным творческим потребностям реальных сценариев. Для устранения этого пробела мы представляем Goku — крупномасштабный набор данных, содержащий 2 миллиона высококачественных, согласованных с инструкциями пар для редактирования видео. Это первый набор данных, расширяющий границы задач от базового редактирования внешнего вида до многоцелевых и структурных манипуляций (например, точного контроля движения объекта). Для решения проблем синтеза данных, присущих этим сложным задачам, мы разработали эффективный конвейер синтеза данных, который разбивает сложные операции редактирования на контролируемые подзадачи, и внедрили прогрессивную систему фильтрации для обеспечения надежности данных на всех этапах процесса. Кроме того, мы исследовали оптимальные сетевые структуры на Goku и предлагаем Goku-Edit. Для глубокого понимания сложных инструкций по редактированию Goku-Edit использует MLLM в качестве текстового энкодера и применяет развязанную двухканальную архитектуру: выделенный канал маски отвечает за структурный контроль, освобождая основной канал для рендеринга внешнего вида. Также предлагается всесторонний эталон для редактирования видео — Goku-Bench, включающий 1000 вручную проверенных тестовых примеров и 7 новых метрик, специфичных для редактирования. При оценке на Goku-Bench Goku-Edit демонстрирует улучшение до +8% по сравнению с другими моделями с открытым исходным кодом в части следования инструкциям.

English

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.