MuSS: Een grootschalige dataset en cinematografische narratieve benchmark voor multi-shot subject-naar-video generatie

Samenvatting

Hoewel videofundatiemodellen uitblinken in het genereren van enkelvoudige shots, is realistische cinematografische verhalenvertelling inherent afhankelijk van complexe meervoudige shotsequenties. Verdere vooruitgang wordt belemmerd door het ontbreken van datasets die drie kernuitdagingen aanpakken: authentieke verhaallogica, tegenstrijdigheden in ruimtelijk-temporele tekst-video-afstemming, en het 'kopieer-plak'-dilemma dat veel voorkomt bij Subject-to-Video (S2V)-generatie. Om deze kloof te overbruggen introduceren we MuSS, een grootschalige, dual-track dataset die specifiek is ontworpen voor meervoudige shotvideo's en S2V-generatie. MuSS, afkomstig uit meer dan 3.000 films, ondersteunt expliciet zowel complexe montageovergangen als subjectgerichte verhalen. Voor de constructie van deze dataset hanteren we een baanbrekende progressieve bijschrijvingspijplijn die contextuele conflicten elimineert door eerst lokale shotnauwkeurigheid te waarborgen en vervolgens globale verhaalcoherentie af te dwingen. Cruciaal is dat we een cross-shot-koppelingsmechanisme implementeren om de S2V-kopieer-plak-shortcut fundamenteel uit te roeien. Samen met de dataset stellen we de Cinematic Narrative Benchmark voor, met een visueel-logisch gedreven paradigma en een nieuwe Anti-Copy-Paste Variance (ACP-Var)-metriek om doorlopende verhalenvertelling en 3D-structurele consistentie strikt te beoordelen. Uitgebreide experimenten tonen aan dat, terwijl huidige basislijnen worstelen met continue verhaallogica of degenereren tot triviale 2D-stickergeneratoren, ons met MuSS verbeterde model een state-of-the-art verhalende effectiviteit en cross-shot-identiteitsbehoud bereikt.

English

While video foundation models excel at single-shot generation, real-world cinematic storytelling inherently relies on complex multi-shot sequencing. Further progress is constrained by the absence of datasets that address three core challenges: authentic narrative logic, spatiotemporal text-video alignment conflicts, and the "copy-paste" dilemma prevalent in Subject-to-Video (S2V) generation. To bridge this gap, we introduce MuSS, a large-scale, dual-track dataset tailored for multi-shot video and S2V generation. Sourced from over 3,000 movies, MuSS explicitly supports both complex montage transitions and subject-centric narratives. To construct this dataset, we pioneer a progressive captioning pipeline that eliminates contextual conflicts by ensuring local shot-level accuracy before enforcing global narrative coherence. Crucially, we implement a cross-shot matching mechanism to fundamentally eradicate the S2V copy-paste shortcut. Alongside the dataset, we propose the Cinematic Narrative Benchmark, featuring a visual-logic-driven paradigm and a novel Anti-Copy-Paste Variance (ACP-Var) metric to rigorously assess continuous storytelling and 3D structural consistency. Extensive experiments demonstrate that while current baselines struggle with continuous narrative logic or degenerate into trivial 2D sticker generators, our MuSS-augmented model achieves state-of-the-art narrative effectiveness and cross-shot identity preservation.