AtomoVideo: Generatie van Beeld-naar-Video met Hoge Getrouwheid

AtomoVideo: High Fidelity Image-to-Video Generation

March 4, 2024

Auteurs: Litong Gong, Yiran Zhu, Weijie Li, Xiaoyang Kang, Biao Wang, Tiezheng Ge, Bo Zheng

cs.AI

Samenvatting

Onlangs heeft videogeneratie een aanzienlijke snelle ontwikkeling doorgemaakt, gebaseerd op superieure tekst-naar-beeld generatietechnieken. In dit werk stellen we een framework voor hoge kwaliteit voor beeld-naar-video generatie voor, genaamd AtomoVideo. Op basis van multi-granulariteit beeldinjectie bereiken we een hogere gelijkenis van de gegenereerde video met het gegeven beeld. Daarnaast, dankzij hoogwaardige datasets en trainingsstrategieën, bereiken we een grotere bewegingsintensiteit terwijl we superieure temporele consistentie en stabiliteit behouden. Onze architectuur is flexibel uitbreidbaar naar de taak van videoframevoorspelling, waardoor lange sequentievoorspelling mogelijk is door middel van iteratieve generatie. Bovendien kan onze aanpak, dankzij het ontwerp van adaptertraining, goed worden gecombineerd met bestaande gepersonaliseerde modellen en controleerbare modules. Door kwantitatieve en kwalitatieve evaluatie behaalt AtomoVideo superieure resultaten in vergelijking met populaire methoden, meer voorbeelden zijn te vinden op onze projectwebsite: https://atomo-video.github.io/.

English

Recently, video generation has achieved significant rapid development based on superior text-to-image generation techniques. In this work, we propose a high fidelity framework for image-to-video generation, named AtomoVideo. Based on multi-granularity image injection, we achieve higher fidelity of the generated video to the given image. In addition, thanks to high quality datasets and training strategies, we achieve greater motion intensity while maintaining superior temporal consistency and stability. Our architecture extends flexibly to the video frame prediction task, enabling long sequence prediction through iterative generation. Furthermore, due to the design of adapter training, our approach can be well combined with existing personalised models and controllable modules. By quantitatively and qualitatively evaluation, AtomoVideo achieves superior results compared to popular methods, more examples can be found on our project website: https://atomo- video.github.io/.