StyleCineGAN : Génération de cinémagraphies paysagères à l'aide d'un StyleGAN pré-entraîné

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

Auteurs: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

Résumé

Nous proposons une méthode capable de générer automatiquement des cinémagraphs à partir d'une image de paysage statique en utilisant un StyleGAN pré-entraîné. Inspirés par le succès des récentes méthodes de génération vidéo non conditionnée, nous exploitons un générateur d'images puissant et pré-entraîné pour synthétiser des cinémagraphs de haute qualité. Contrairement aux approches précédentes qui utilisent principalement l'espace latent d'un StyleGAN pré-entraîné, notre méthode exploite son espace de caractéristiques profondes à la fois pour l'inversion GAN et la génération de cinémagraphs. Plus précisément, nous proposons une méthode de déformation multi-échelle des caractéristiques profondes (MSDFW), qui déforme les caractéristiques intermédiaires d'un StyleGAN pré-entraîné à différentes résolutions. En utilisant MSDFW, les cinémagraphs générés sont de haute résolution et présentent une animation en boucle plausible. Nous démontrons la supériorité de notre méthode à travers des études utilisateurs et des comparaisons quantitatives avec les méthodes de génération de cinémagraphs de pointe ainsi qu'une méthode de génération vidéo utilisant un StyleGAN pré-entraîné.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.