StyleCineGAN: Landschafts-Cinemagraph-Erzeugung unter Verwendung eines vorab trainierten StyleGAN

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

Autoren: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

Zusammenfassung

Wir schlagen eine Methode vor, die es ermöglicht, Cinemagraphs automatisch aus einem statischen Landschaftsbild mithilfe eines vorab trainierten StyleGAN zu generieren. Inspiriert vom Erfolg der jüngsten bedingungslosen Videogenerierung nutzen wir einen leistungsstarken vorab trainierten Bildgenerator, um hochwertige Cinemagraphs zu synthetisieren. Im Gegensatz zu früheren Ansätzen, die hauptsächlich den latenten Raum eines vorab trainierten StyleGAN nutzen, verwendet unser Ansatz seinen tiefen Merkmalsraum sowohl für die GAN-Inversion als auch für die Cinemagraph-Generierung. Speziell schlagen wir Multi-Scale Deep Feature Warping (MSDFW) vor, das die Zwischenmerkmale eines vorab trainierten StyleGAN in verschiedenen Auflösungen verformt. Durch die Verwendung von MSDFW sind die generierten Cinemagraphs von hoher Auflösung und zeigen eine plausible Looping-Animation. Wir zeigen die Überlegenheit unserer Methode durch Benutzerstudien und quantitative Vergleiche mit modernsten Cinemagraph-Generierungsmethoden und einer Videogenerierungsmethode, die ein vorab trainiertes StyleGAN verwendet.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.