OpenS2V-Nexus: 주제-비디오 생성을 위한 상세 벤치마크 및 백만 규모 데이터셋

OpenS2V-Nexus: A Detailed Benchmark and Million-Scale Dataset for Subject-to-Video Generation

May 26, 2025

저자: Shenghai Yuan, Xianyi He, Yufan Deng, Yang Ye, Jinfa Huang, Bin Lin, Chongyang Ma, Jiebo Luo, Li Yuan

cs.AI

초록

Subject-to-Video(S2V) 생성은 참조 콘텐츠를 충실히 반영한 동영상을 제작함으로써 동영상 제작의 유연성을 높이는 것을 목표로 합니다. S2V 생성을 위한 인프라를 구축하기 위해, 우리는 (i) 세분화된 벤치마크인 OpenS2V-Eval과 (ii) 대규모 데이터셋인 OpenS2V-5M으로 구성된 OpenS2V-Nexus를 제안합니다. 기존의 VBench에서 상속된 S2V 벤치마크가 생성된 동영상의 전반적이고 거시적인 평가에 초점을 맞춘 반면, OpenS2V-Eval은 모델이 주체 일관성을 유지하며 자연스러운 주체 외관과 정체성 충실도를 갖춘 동영상을 생성하는 능력에 중점을 둡니다. 이를 위해 OpenS2V-Eval은 실제와 합성 테스트 데이터를 모두 포함한 7개 주요 S2V 카테고리에서 180개의 프롬프트를 도입했습니다. 또한, 인간의 선호도를 S2V 벤치마크와 정확히 일치시키기 위해, 우리는 생성된 동영상의 주체 일관성, 자연스러움, 텍스트 관련성을 각각 정량화하는 세 가지 자동 메트릭인 NexusScore, NaturalScore, GmeScore를 제안합니다. 이를 바탕으로, 우리는 16개의 대표적인 S2V 모델을 종합적으로 평가하여 다양한 콘텐츠에서의 강점과 약점을 밝혔습니다. 더 나아가, 우리는 500만 개의 고품질 720P 주체-텍스트-동영상 삼중항으로 구성된 최초의 오픈소스 대규모 S2V 생성 데이터셋인 OpenS2V-5M을 구축했습니다. 구체적으로, 우리는 (1) 주체를 분할하고 크로스-비디오 연관성을 통해 페어링 정보를 구축하고, (2) 원본 프레임에 GPT-Image-1을 프롬프트하여 다중 뷰 표현을 합성함으로써 데이터셋 내 주체 정보의 다양성을 보장했습니다. OpenS2V-Nexus를 통해, 우리는 향후 S2V 생성 연구를 가속화할 수 있는 견고한 인프라를 제공합니다.

English

Subject-to-Video (S2V) generation aims to create videos that faithfully incorporate reference content, providing enhanced flexibility in the production of videos. To establish the infrastructure for S2V generation, we propose OpenS2V-Nexus, consisting of (i) OpenS2V-Eval, a fine-grained benchmark, and (ii) OpenS2V-5M, a million-scale dataset. In contrast to existing S2V benchmarks inherited from VBench that focus on global and coarse-grained assessment of generated videos, OpenS2V-Eval focuses on the model's ability to generate subject-consistent videos with natural subject appearance and identity fidelity. For these purposes, OpenS2V-Eval introduces 180 prompts from seven major categories of S2V, which incorporate both real and synthetic test data. Furthermore, to accurately align human preferences with S2V benchmarks, we propose three automatic metrics, NexusScore, NaturalScore and GmeScore, to separately quantify subject consistency, naturalness, and text relevance in generated videos. Building on this, we conduct a comprehensive evaluation of 16 representative S2V models, highlighting their strengths and weaknesses across different content. Moreover, we create the first open-source large-scale S2V generation dataset OpenS2V-5M, which consists of five million high-quality 720P subject-text-video triples. Specifically, we ensure subject-information diversity in our dataset by (1) segmenting subjects and building pairing information via cross-video associations and (2) prompting GPT-Image-1 on raw frames to synthesize multi-view representations. Through OpenS2V-Nexus, we deliver a robust infrastructure to accelerate future S2V generation research.