Mobius: Generazione di video in loop senza soluzione di continuità da testo tramite spostamento latente

Mobius: Text to Seamless Looping Video Generation via Latent Shift

February 27, 2025

Autori: Xiuli Bi, Jianfei Yuan, Bo Liu, Yong Zhang, Xiaodong Cun, Chi-Man Pun, Bin Xiao

cs.AI

Abstract

Presentiamo Mobius, un nuovo metodo per generare video in loop in modo fluido da descrizioni testuali direttamente, senza alcuna annotazione dell'utente, creando così nuovi materiali visivi per presentazioni multimediali. Il nostro metodo riadatta il modello di diffusione latente video pre-addestrato per generare video in loop da prompt testuali senza alcun addestramento. Durante l'inferenza, costruiamo innanzitutto un ciclo latente collegando il rumore iniziale e finale dei video. Poiché la coerenza temporale può essere mantenuta dal contesto del modello di diffusione video, eseguiamo un denoising latente multi-frame spostando gradualmente il frame latente iniziale alla fine ad ogni passo. Di conseguenza, il contesto di denoising varia ad ogni passo pur mantenendo coerenza durante l'intero processo di inferenza. Inoltre, il ciclo latente nel nostro metodo può avere qualsiasi lunghezza. Ciò estende il nostro approccio di spostamento latente per generare video in loop senza soluzione di continuità al di là del contesto del modello di diffusione video. A differenza dei precedenti cinemagraph, il metodo proposto non richiede un'immagine come aspetto, il che limiterebbe i movimenti dei risultati generati. Invece, il nostro metodo può produrre movimenti più dinamici e una migliore qualità visiva. Conduciamo molteplici esperimenti e confronti per verificare l'efficacia del metodo proposto, dimostrandone l'efficacia in diversi scenari. Tutto il codice sarà reso disponibile.

English

We present Mobius, a novel method to generate seamlessly looping videos from text descriptions directly without any user annotations, thereby creating new visual materials for the multi-media presentation. Our method repurposes the pre-trained video latent diffusion model for generating looping videos from text prompts without any training. During inference, we first construct a latent cycle by connecting the starting and ending noise of the videos. Given that the temporal consistency can be maintained by the context of the video diffusion model, we perform multi-frame latent denoising by gradually shifting the first-frame latent to the end in each step. As a result, the denoising context varies in each step while maintaining consistency throughout the inference process. Moreover, the latent cycle in our method can be of any length. This extends our latent-shifting approach to generate seamless looping videos beyond the scope of the video diffusion model's context. Unlike previous cinemagraphs, the proposed method does not require an image as appearance, which will restrict the motions of the generated results. Instead, our method can produce more dynamic motion and better visual quality. We conduct multiple experiments and comparisons to verify the effectiveness of the proposed method, demonstrating its efficacy in different scenarios. All the code will be made available.