Tuning-vrije generatie van lange video's met meerdere gebeurtenissen via gesynchroniseerd gekoppeld bemonsteren

Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling

March 11, 2025

Auteurs: Subin Kim, Seoung Wug Oh, Jui-Hsien Wang, Joon-Young Lee, Jinwoo Shin

cs.AI

Samenvatting

Hoewel recente vooruitgang in tekst-naar-video diffusiemodellen het mogelijk maakt om hoogwaardige korte video's te genereren vanuit een enkele prompt, blijft het genereren van realistische lange video's in één keer een uitdaging vanwege beperkte data en hoge rekenkosten. Om dit aan te pakken, stellen verschillende werken tuning-vrije benaderingen voor, waarbij bestaande modellen worden uitgebreid voor het genereren van lange video's, specifiek door gebruik te maken van meerdere prompts om dynamische en gecontroleerde inhoudsveranderingen mogelijk te maken. Deze methoden richten zich echter voornamelijk op het waarborgen van soepele overgangen tussen aangrenzende frames, wat vaak leidt tot inhoudsverschuiving en een geleidelijk verlies van semantische samenhang over langere sequenties. Om dit probleem aan te pakken, stellen wij Synchronized Coupled Sampling (SynCoS) voor, een nieuw inferentiekader dat de denoising-paden over de gehele video synchroniseert, waardoor langetermijnconsistentie wordt gewaarborgd tussen zowel aangrenzende als verre frames. Onze aanpak combineert twee complementaire samplingstrategieën: reverse sampling en optimalisatiegebaseerd sampling, die respectievelijk naadloze lokale overgangen waarborgen en globale samenhang afdwingen. Direct afwisselen tussen deze samplingmethoden leidt echter tot een verkeerde uitlijning van de denoising-trajecten, wat de promptbegeleiding verstoort en onbedoelde inhoudsveranderingen introduceert, aangezien ze onafhankelijk van elkaar werken. Om dit op te lossen, synchroniseert SynCoS deze methoden via een gegronde tijdsstap en een vast basislawaai, waardoor volledig gekoppelde sampling met uitgelijnde denoising-paden wordt gegarandeerd. Uitgebreide experimenten tonen aan dat SynCoS de generatie van lange video's met meerdere gebeurtenissen aanzienlijk verbetert, met soepelere overgangen en superieure langetermijnsamenhang, en daarmee zowel kwantitatief als kwalitatief beter presteert dan eerdere benaderingen.

English

While recent advancements in text-to-video diffusion models enable high-quality short video generation from a single prompt, generating real-world long videos in a single pass remains challenging due to limited data and high computational costs. To address this, several works propose tuning-free approaches, i.e., extending existing models for long video generation, specifically using multiple prompts to allow for dynamic and controlled content changes. However, these methods primarily focus on ensuring smooth transitions between adjacent frames, often leading to content drift and a gradual loss of semantic coherence over longer sequences. To tackle such an issue, we propose Synchronized Coupled Sampling (SynCoS), a novel inference framework that synchronizes denoising paths across the entire video, ensuring long-range consistency across both adjacent and distant frames. Our approach combines two complementary sampling strategies: reverse and optimization-based sampling, which ensure seamless local transitions and enforce global coherence, respectively. However, directly alternating between these samplings misaligns denoising trajectories, disrupting prompt guidance and introducing unintended content changes as they operate independently. To resolve this, SynCoS synchronizes them through a grounded timestep and a fixed baseline noise, ensuring fully coupled sampling with aligned denoising paths. Extensive experiments show that SynCoS significantly improves multi-event long video generation, achieving smoother transitions and superior long-range coherence, outperforming previous approaches both quantitatively and qualitatively.