Mobius: Generierung nahtloser Loop-Videos aus Text durch latente Verschiebung

Mobius: Text to Seamless Looping Video Generation via Latent Shift

February 27, 2025

Autoren: Xiuli Bi, Jianfei Yuan, Bo Liu, Yong Zhang, Xiaodong Cun, Chi-Man Pun, Bin Xiao

cs.AI

Zusammenfassung

Wir stellen Mobius vor, eine neuartige Methode zur Erzeugung nahtloser Looping-Videos direkt aus Textbeschreibungen ohne jegliche Benutzerannotationen, wodurch neue visuelle Materialien für Multimedia-Präsentationen geschaffen werden. Unsere Methode nutzt das vortrainierte latente Video-Diffusionsmodell, um Looping-Videos aus Textprompts zu generieren, ohne dass ein Training erforderlich ist. Während der Inferenz konstruieren wir zunächst einen latenten Zyklus, indem wir das Anfangs- und Endrauschen der Videos verbinden. Da die zeitliche Konsistenz durch den Kontext des Video-Diffusionsmodells aufrechterhalten werden kann, führen wir eine Multi-Frame-latente Entrauschung durch, indem wir das Latent der ersten Frame schrittweise zum Ende verschieben. Dadurch variiert der Entrauschungskontext in jedem Schritt, während die Konsistenz während des gesamten Inferenzprozesses erhalten bleibt. Darüber hinaus kann der latente Zyklus in unserer Methode beliebig lang sein. Dies erweitert unseren latenten Verschiebungsansatz, um nahtlose Looping-Videos über den Kontext des Video-Diffusionsmodells hinaus zu generieren. Im Gegensatz zu früheren Cinemagraphs erfordert die vorgeschlagene Methode kein Bild als Erscheinungsbild, was die Bewegungen der generierten Ergebnisse einschränken würde. Stattdessen kann unsere Methode dynamischere Bewegungen und eine bessere visuelle Qualität erzeugen. Wir führen mehrere Experimente und Vergleiche durch, um die Wirksamkeit der vorgeschlagenen Methode zu überprüfen und ihre Effizienz in verschiedenen Szenarien zu demonstrieren. Der gesamte Code wird verfügbar gemacht.

English

We present Mobius, a novel method to generate seamlessly looping videos from text descriptions directly without any user annotations, thereby creating new visual materials for the multi-media presentation. Our method repurposes the pre-trained video latent diffusion model for generating looping videos from text prompts without any training. During inference, we first construct a latent cycle by connecting the starting and ending noise of the videos. Given that the temporal consistency can be maintained by the context of the video diffusion model, we perform multi-frame latent denoising by gradually shifting the first-frame latent to the end in each step. As a result, the denoising context varies in each step while maintaining consistency throughout the inference process. Moreover, the latent cycle in our method can be of any length. This extends our latent-shifting approach to generate seamless looping videos beyond the scope of the video diffusion model's context. Unlike previous cinemagraphs, the proposed method does not require an image as appearance, which will restrict the motions of the generated results. Instead, our method can produce more dynamic motion and better visual quality. We conduct multiple experiments and comparisons to verify the effectiveness of the proposed method, demonstrating its efficacy in different scenarios. All the code will be made available.