OpenS2V-Nexus: Een Uitgebreide Benchmark en Miljoenen-Schaal Dataset voor Onderwerp-naar-Video Generatie

OpenS2V-Nexus: A Detailed Benchmark and Million-Scale Dataset for Subject-to-Video Generation

May 26, 2025

Auteurs: Shenghai Yuan, Xianyi He, Yufan Deng, Yang Ye, Jinfa Huang, Bin Lin, Chongyang Ma, Jiebo Luo, Li Yuan

cs.AI

Samenvatting

Subject-to-Video (S2V) generatie heeft als doel video's te creëren die referentie-inhoud nauwkeurig integreren, waardoor meer flexibiliteit wordt geboden in de productie van video's. Om de infrastructuur voor S2V-generatie te ontwikkelen, stellen we OpenS2V-Nexus voor, bestaande uit (i) OpenS2V-Eval, een gedetailleerde benchmark, en (ii) OpenS2V-5M, een dataset op miljoenen-schaal. In tegenstelling tot bestaande S2V-benchmarks die zijn overgenomen van VBench en zich richten op globale en grove beoordeling van gegenereerde video's, richt OpenS2V-Eval zich op het vermogen van het model om onderwerp-consistente video's te genereren met een natuurlijke onderwerpweergave en identiteitsgetrouwheid. Hiervoor introduceert OpenS2V-Eval 180 prompts uit zeven hoofdcategorieën van S2V, die zowel echte als synthetische testgegevens bevatten. Bovendien stellen we, om menselijke voorkeuren nauwkeurig af te stemmen op S2V-benchmarks, drie automatische metrieken voor: NexusScore, NaturalScore en GmeScore, om respectievelijk onderwerpconsistentie, natuurlijkheid en tekstrelevantie in gegenereerde video's te kwantificeren. Op basis hiervan voeren we een uitgebreide evaluatie uit van 16 representatieve S2V-modellen, waarbij hun sterke en zwakke punten over verschillende inhoud worden belicht. Daarnaast creëren we de eerste open-source grootschalige S2V-generatiedataset OpenS2V-5M, die bestaat uit vijf miljoen hoogwaardige 720P onderwerp-tekst-video triples. Specifiek zorgen we voor diversiteit in onderwerpinformatie in onze dataset door (1) onderwerpen te segmenteren en koppelingsinformatie op te bouwen via kruisvideo-associaties en (2) GPT-Image-1 aan te sturen op ruwe frames om multi-view representaties te synthetiseren. Met OpenS2V-Nexus leveren we een robuuste infrastructuur om toekomstig S2V-generatieonderzoek te versnellen.

English

Subject-to-Video (S2V) generation aims to create videos that faithfully incorporate reference content, providing enhanced flexibility in the production of videos. To establish the infrastructure for S2V generation, we propose OpenS2V-Nexus, consisting of (i) OpenS2V-Eval, a fine-grained benchmark, and (ii) OpenS2V-5M, a million-scale dataset. In contrast to existing S2V benchmarks inherited from VBench that focus on global and coarse-grained assessment of generated videos, OpenS2V-Eval focuses on the model's ability to generate subject-consistent videos with natural subject appearance and identity fidelity. For these purposes, OpenS2V-Eval introduces 180 prompts from seven major categories of S2V, which incorporate both real and synthetic test data. Furthermore, to accurately align human preferences with S2V benchmarks, we propose three automatic metrics, NexusScore, NaturalScore and GmeScore, to separately quantify subject consistency, naturalness, and text relevance in generated videos. Building on this, we conduct a comprehensive evaluation of 16 representative S2V models, highlighting their strengths and weaknesses across different content. Moreover, we create the first open-source large-scale S2V generation dataset OpenS2V-5M, which consists of five million high-quality 720P subject-text-video triples. Specifically, we ensure subject-information diversity in our dataset by (1) segmenting subjects and building pairing information via cross-video associations and (2) prompting GPT-Image-1 on raw frames to synthesize multi-view representations. Through OpenS2V-Nexus, we deliver a robust infrastructure to accelerate future S2V generation research.