StyleCineGAN: Generazione di Cinemagrafie Paesaggistiche utilizzando uno StyleGAN Pre-addestrato

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

Autori: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

Abstract

Proponiamo un metodo in grado di generare automaticamente cinemagraph a partire da un'immagine fissa di un paesaggio utilizzando uno StyleGAN pre-addestrato. Ispirati dal successo della recente generazione incondizionata di video, sfruttiamo un potente generatore di immagini pre-addestrato per sintetizzare cinemagraph di alta qualità. A differenza degli approcci precedenti che utilizzano principalmente lo spazio latente di uno StyleGAN pre-addestrato, il nostro metodo sfrutta il suo spazio delle feature profonde sia per l'inversione GAN che per la generazione di cinemagraph. Nello specifico, proponiamo il multi-scale deep feature warping (MSDFW), che deforma le feature intermedie di uno StyleGAN pre-addestrato a diverse risoluzioni. Utilizzando MSDFW, i cinemagraph generati sono ad alta risoluzione e presentano un'animazione in loop plausibile. Dimostriamo la superiorità del nostro metodo attraverso studi con utenti e confronti quantitativi con i metodi all'avanguardia per la generazione di cinemagraph e un metodo di generazione video che utilizza uno StyleGAN pre-addestrato.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.