Mobius: Tekst naar Naadloze Video-lus Generatie via Latente Verschuiving

Mobius: Text to Seamless Looping Video Generation via Latent Shift

February 27, 2025

Auteurs: Xiuli Bi, Jianfei Yuan, Bo Liu, Yong Zhang, Xiaodong Cun, Chi-Man Pun, Bin Xiao

cs.AI

Samenvatting

We presenteren Mobius, een nieuwe methode om naadloos lussende video's te genereren vanuit tekstbeschrijvingen zonder enige gebruikersannotaties, waardoor nieuwe visuele materialen worden gecreëerd voor multimediapresentaties. Onze methode hergebruikt het voorgeleerde videolatentiediffusiemodel voor het genereren van lussende video's vanuit tekstprompts zonder enige training. Tijdens inferentie construeren we eerst een latentiecirkel door het verbinden van het start- en eindgeluid van de video's. Aangezien de temporele consistentie kan worden gehandhaafd door de context van het videodiffusiemodel, voeren we meervoudige latentie-ruisvermindering uit door geleidelijk het latentie van het eerste frame naar het einde te verschuiven in elke stap. Als gevolg hiervan varieert de ruisonderdrukkingscontext in elke stap terwijl de consistentie gedurende het inferentieproces behouden blijft. Bovendien kan de latentiecirkel in onze methode van elke lengte zijn. Dit breidt onze latentieverschuivingsbenadering uit om naadloze lussende video's te genereren buiten de context van het videodiffusiemodel. In tegenstelling tot eerdere cinemagraphs vereist de voorgestelde methode geen afbeelding als verschijning, wat de bewegingen van de gegenereerde resultaten zou beperken. In plaats daarvan kan onze methode meer dynamische beweging en een betere visuele kwaliteit produceren. We voeren meerdere experimenten en vergelijkingen uit om de effectiviteit van de voorgestelde methode te verifiëren, waarbij we de doeltreffendheid ervan in verschillende scenario's aantonen. Alle code zal beschikbaar worden gesteld.

English

We present Mobius, a novel method to generate seamlessly looping videos from text descriptions directly without any user annotations, thereby creating new visual materials for the multi-media presentation. Our method repurposes the pre-trained video latent diffusion model for generating looping videos from text prompts without any training. During inference, we first construct a latent cycle by connecting the starting and ending noise of the videos. Given that the temporal consistency can be maintained by the context of the video diffusion model, we perform multi-frame latent denoising by gradually shifting the first-frame latent to the end in each step. As a result, the denoising context varies in each step while maintaining consistency throughout the inference process. Moreover, the latent cycle in our method can be of any length. This extends our latent-shifting approach to generate seamless looping videos beyond the scope of the video diffusion model's context. Unlike previous cinemagraphs, the proposed method does not require an image as appearance, which will restrict the motions of the generated results. Instead, our method can produce more dynamic motion and better visual quality. We conduct multiple experiments and comparisons to verify the effectiveness of the proposed method, demonstrating its efficacy in different scenarios. All the code will be made available.