Geração de Vídeos Longos com Múltiplos Eventos sem Ajuste via Amostragem Acoplada Sincronizada

Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling

March 11, 2025

Autores: Subin Kim, Seoung Wug Oh, Jui-Hsien Wang, Joon-Young Lee, Jinwoo Shin

cs.AI

Resumo

Embora os avanços recentes em modelos de difusão de texto para vídeo permitam a geração de vídeos curtos de alta qualidade a partir de um único prompt, a geração de vídeos longos do mundo real em uma única passagem continua desafiadora devido à limitação de dados e aos altos custos computacionais. Para abordar isso, vários trabalhos propõem abordagens sem ajuste, ou seja, estendendo modelos existentes para a geração de vídeos longos, especificamente usando múltiplos prompts para permitir mudanças de conteúdo dinâmicas e controladas. No entanto, esses métodos focam principalmente em garantir transições suaves entre quadros adjacentes, frequentemente levando a desvios de conteúdo e uma perda gradual de coerência semântica em sequências mais longas. Para resolver esse problema, propomos o Synchronized Coupled Sampling (SynCoS), uma nova estrutura de inferência que sincroniza caminhos de remoção de ruído em todo o vídeo, garantindo consistência de longo alcance tanto entre quadros adjacentes quanto distantes. Nossa abordagem combina duas estratégias complementares de amostragem: amostragem reversa e baseada em otimização, que garantem transições locais suaves e impõem coerência global, respectivamente. No entanto, alternar diretamente entre essas amostragens desalinha trajetórias de remoção de ruído, perturbando a orientação do prompt e introduzindo mudanças de conteúdo não intencionais, já que operam de forma independente. Para resolver isso, o SynCoS as sincroniza por meio de um passo de tempo fundamentado e um ruído de base fixo, garantindo uma amostragem totalmente acoplada com caminhos de remoção de ruído alinhados. Experimentos extensivos mostram que o SynCoS melhora significativamente a geração de vídeos longos com múltiplos eventos, alcançando transições mais suaves e coerência de longo alcance superior, superando abordagens anteriores tanto quantitativa quanto qualitativamente.

English

While recent advancements in text-to-video diffusion models enable high-quality short video generation from a single prompt, generating real-world long videos in a single pass remains challenging due to limited data and high computational costs. To address this, several works propose tuning-free approaches, i.e., extending existing models for long video generation, specifically using multiple prompts to allow for dynamic and controlled content changes. However, these methods primarily focus on ensuring smooth transitions between adjacent frames, often leading to content drift and a gradual loss of semantic coherence over longer sequences. To tackle such an issue, we propose Synchronized Coupled Sampling (SynCoS), a novel inference framework that synchronizes denoising paths across the entire video, ensuring long-range consistency across both adjacent and distant frames. Our approach combines two complementary sampling strategies: reverse and optimization-based sampling, which ensure seamless local transitions and enforce global coherence, respectively. However, directly alternating between these samplings misaligns denoising trajectories, disrupting prompt guidance and introducing unintended content changes as they operate independently. To resolve this, SynCoS synchronizes them through a grounded timestep and a fixed baseline noise, ensuring fully coupled sampling with aligned denoising paths. Extensive experiments show that SynCoS significantly improves multi-event long video generation, achieving smoother transitions and superior long-range coherence, outperforming previous approaches both quantitatively and qualitatively.