Generación de Videos Largos Multi-Eventos sin Ajuste mediante Muestreo Acoplado Sincronizado

Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling

March 11, 2025

Autores: Subin Kim, Seoung Wug Oh, Jui-Hsien Wang, Joon-Young Lee, Jinwoo Shin

cs.AI

Resumen

Si bien los avances recientes en los modelos de difusión de texto a video permiten la generación de videos cortos de alta calidad a partir de un solo prompt, generar videos largos del mundo real en una sola pasada sigue siendo un desafío debido a la limitación de datos y los altos costos computacionales. Para abordar esto, varios trabajos proponen enfoques sin ajuste, es decir, extender modelos existentes para la generación de videos largos, utilizando específicamente múltiples prompts para permitir cambios de contenido dinámicos y controlados. Sin embargo, estos métodos se centran principalmente en garantizar transiciones suaves entre fotogramas adyacentes, lo que a menudo conduce a una deriva de contenido y una pérdida gradual de coherencia semántica en secuencias más largas. Para abordar este problema, proponemos Synchronized Coupled Sampling (SynCoS), un marco de inferencia novedoso que sincroniza las rutas de eliminación de ruido en todo el video, asegurando una coherencia a largo plazo tanto en fotogramas adyacentes como distantes. Nuestro enfoque combina dos estrategias de muestreo complementarias: muestreo inverso y basado en optimización, que garantizan transiciones locales fluidas y refuerzan la coherencia global, respectivamente. Sin embargo, alternar directamente entre estos muestreos desalinea las trayectorias de eliminación de ruido, interrumpiendo la guía del prompt e introduciendo cambios de contenido no deseados, ya que operan de manera independiente. Para resolver esto, SynCoS los sincroniza mediante un paso de tiempo anclado y un ruido base fijo, asegurando un muestreo completamente acoplado con rutas de eliminación de ruido alineadas. Experimentos extensos muestran que SynCoS mejora significativamente la generación de videos largos con múltiples eventos, logrando transiciones más suaves y una coherencia a largo plazo superior, superando enfoques anteriores tanto cuantitativa como cualitativamente.

English

While recent advancements in text-to-video diffusion models enable high-quality short video generation from a single prompt, generating real-world long videos in a single pass remains challenging due to limited data and high computational costs. To address this, several works propose tuning-free approaches, i.e., extending existing models for long video generation, specifically using multiple prompts to allow for dynamic and controlled content changes. However, these methods primarily focus on ensuring smooth transitions between adjacent frames, often leading to content drift and a gradual loss of semantic coherence over longer sequences. To tackle such an issue, we propose Synchronized Coupled Sampling (SynCoS), a novel inference framework that synchronizes denoising paths across the entire video, ensuring long-range consistency across both adjacent and distant frames. Our approach combines two complementary sampling strategies: reverse and optimization-based sampling, which ensure seamless local transitions and enforce global coherence, respectively. However, directly alternating between these samplings misaligns denoising trajectories, disrupting prompt guidance and introducing unintended content changes as they operate independently. To resolve this, SynCoS synchronizes them through a grounded timestep and a fixed baseline noise, ensuring fully coupled sampling with aligned denoising paths. Extensive experiments show that SynCoS significantly improves multi-event long video generation, achieving smoother transitions and superior long-range coherence, outperforming previous approaches both quantitatively and qualitatively.