AtomoVideo: Hochwertige Bild-zu-Video-Generierung

AtomoVideo: High Fidelity Image-to-Video Generation

March 4, 2024

Autoren: Litong Gong, Yiran Zhu, Weijie Li, Xiaoyang Kang, Biao Wang, Tiezheng Ge, Bo Zheng

cs.AI

Zusammenfassung

Kürzlich hat die Videogenerierung eine bedeutende und rasante Entwicklung auf der Grundlage überlegener Text-zu-Bild-Generierungstechniken erreicht. In dieser Arbeit schlagen wir ein hochwertiges Framework für die Bild-zu-Video-Generierung vor, genannt AtomoVideo. Basierend auf der Multi-Granularitäts-Bildeinspritzung erreichen wir eine höhere Treue des generierten Videos zum gegebenen Bild. Darüber hinaus ermöglichen hochwertige Datensätze und Trainingsstrategien eine größere Bewegungsintensität bei gleichzeitiger Beibehaltung einer überlegenen zeitlichen Konsistenz und Stabilität. Unsere Architektur erweitert sich flexibel auf die Aufgabe der Videobildvorhersage und ermöglicht die Vorhersage langer Sequenzen durch iterative Generierung. Weiterhin kann unser Ansatz dank des Designs des Adapter-Trainings gut mit bestehenden personalisierten Modellen und kontrollierbaren Modulen kombiniert werden. Durch quantitative und qualitative Bewertungen erzielt AtomoVideo im Vergleich zu gängigen Methoden überlegene Ergebnisse. Weitere Beispiele finden Sie auf unserer Projektwebsite: https://atomo-video.github.io/.

English

Recently, video generation has achieved significant rapid development based on superior text-to-image generation techniques. In this work, we propose a high fidelity framework for image-to-video generation, named AtomoVideo. Based on multi-granularity image injection, we achieve higher fidelity of the generated video to the given image. In addition, thanks to high quality datasets and training strategies, we achieve greater motion intensity while maintaining superior temporal consistency and stability. Our architecture extends flexibly to the video frame prediction task, enabling long sequence prediction through iterative generation. Furthermore, due to the design of adapter training, our approach can be well combined with existing personalised models and controllable modules. By quantitatively and qualitatively evaluation, AtomoVideo achieves superior results compared to popular methods, more examples can be found on our project website: https://atomo- video.github.io/.