Goku: 명령 기반 비디오 편집을 위한 백만 규모의 범용 데이터셋 및 벤치마크

초록

기존의 명령 기반 비디오 편집 데이터셋은 일반적으로 단일 작업 외관 편집에 초점을 맞추어, 실제 시나리오의 복잡한 창의적 요구를 충족하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 2백만 개의 고품질 명령 정렬 비디오 편집 쌍을 포함하는 대규모 데이터셋인 Goku를 제시합니다. 이는 기본 외관 편집에서 다중 작업 및 구조적 조작(예: 객체 움직임의 정밀 제어)으로 작업 경계를 확장한 최초의 데이터셋입니다. 이러한 복잡한 작업에 내재된 데이터 합성 문제를 해결하기 위해, 우리는 복잡한 편집을 제어 가능한 하위 문제로 분해하는 효율적인 데이터 합성 파이프라인을 설계하고, 전체 과정에서 데이터 신뢰성을 위한 점진적 필터링 시스템을 도입합니다. 또한, 우리는 Goku에서 최적의 네트워크 구조를 탐색하고 Goku-Edit을 제안합니다. 복잡한 편집 명령을 깊이 이해하기 위해, Goku-Edit은 MLLM을 텍스트 인코더로 활용하고 분리된 이중 분기 설계를 채택합니다. 전용 마스크 분기는 구조적 제어를 처리하여 주 분기가 외관 렌더링에 집중할 수 있도록 합니다. 또한 1,000개의 인간 검증 테스트 사례와 7개의 새로운 편집 특화 메트릭을 포함하는 포괄적인 비디오 편집 벤치마크인 Goku-Bench도 제안됩니다. Goku-Bench에서 평가된 Goku-Edit은 명령 수행 측면에서 다른 오픈소스 모델 대비 최대 +8%의 개선을 달성합니다.

English

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.