Génération de vidéos longues multi-événements sans réglage via un échantillonnage couplé synchronisé

Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling

March 11, 2025

Auteurs: Subin Kim, Seoung Wug Oh, Jui-Hsien Wang, Joon-Young Lee, Jinwoo Shin

cs.AI

Résumé

Alors que les récents progrès des modèles de diffusion texte-vidéo permettent de générer des vidéos courtes de haute qualité à partir d'une seule instruction, la génération de vidéos longues réalistes en une seule passe reste un défi en raison de données limitées et de coûts de calcul élevés. Pour y remédier, plusieurs travaux proposent des approches sans ajustement, c'est-à-dire l'extension des modèles existants pour la génération de vidéos longues, en utilisant notamment plusieurs instructions pour permettre des changements de contenu dynamiques et contrôlés. Cependant, ces méthodes se concentrent principalement sur l'assurance de transitions fluides entre les images adjacentes, ce qui entraîne souvent une dérive du contenu et une perte progressive de cohérence sémantique sur des séquences plus longues. Pour résoudre ce problème, nous proposons Synchronized Coupled Sampling (SynCoS), un nouveau cadre d'inférence qui synchronise les chemins de débruitage sur l'ensemble de la vidéo, garantissant une cohérence à long terme à la fois entre les images adjacentes et distantes. Notre approche combine deux stratégies d'échantillonnage complémentaires : l'échantillonnage inversé et basé sur l'optimisation, qui assurent respectivement des transitions locales fluides et une cohérence globale. Cependant, alterner directement entre ces échantillonnages désaligne les trajectoires de débruitage, perturbant le guidage des instructions et introduisant des changements de contenu non intentionnels car ils opèrent indépendamment. Pour résoudre ce problème, SynCoS les synchronise via un pas de temps ancré et un bruit de base fixe, garantissant un échantillonnage entièrement couplé avec des chemins de débruitage alignés. Des expériences approfondies montrent que SynCoS améliore significativement la génération de vidéos longues multi-événements, obtenant des transitions plus fluides et une cohérence à long terme supérieure, surpassant les approches précédentes à la fois quantitativement et qualitativement.

English

While recent advancements in text-to-video diffusion models enable high-quality short video generation from a single prompt, generating real-world long videos in a single pass remains challenging due to limited data and high computational costs. To address this, several works propose tuning-free approaches, i.e., extending existing models for long video generation, specifically using multiple prompts to allow for dynamic and controlled content changes. However, these methods primarily focus on ensuring smooth transitions between adjacent frames, often leading to content drift and a gradual loss of semantic coherence over longer sequences. To tackle such an issue, we propose Synchronized Coupled Sampling (SynCoS), a novel inference framework that synchronizes denoising paths across the entire video, ensuring long-range consistency across both adjacent and distant frames. Our approach combines two complementary sampling strategies: reverse and optimization-based sampling, which ensure seamless local transitions and enforce global coherence, respectively. However, directly alternating between these samplings misaligns denoising trajectories, disrupting prompt guidance and introducing unintended content changes as they operate independently. To resolve this, SynCoS synchronizes them through a grounded timestep and a fixed baseline noise, ensuring fully coupled sampling with aligned denoising paths. Extensive experiments show that SynCoS significantly improves multi-event long video generation, achieving smoother transitions and superior long-range coherence, outperforming previous approaches both quantitatively and qualitatively.