StyleCineGAN: Generatie van landschap cinemagraphs met behulp van een vooraf getrainde StyleGAN

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

Auteurs: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

Samenvatting

We stellen een methode voor die automatisch cinemagraphs kan genereren uit een stilstaand landschapsbeeld met behulp van een vooraf getrainde StyleGAN. Geïnspireerd door het succes van recente onvoorwaardelijke videogeneratie, maken we gebruik van een krachtige vooraf getrainde beeldgenerator om hoogwaardige cinemagraphs te synthetiseren. In tegenstelling tot eerdere benaderingen die voornamelijk de latente ruimte van een vooraf getrainde StyleGAN benutten, maakt onze aanpak gebruik van de diepe kenmerkruimte voor zowel GAN-inversie als cinemagraph-generatie. Specifiek stellen we multi-scale deep feature warping (MSDFW) voor, waarbij de tussenliggende kenmerken van een vooraf getrainde StyleGAN op verschillende resoluties worden vervormd. Door MSDFW te gebruiken, zijn de gegenereerde cinemagraphs van hoge resolutie en vertonen ze een geloofwaardige looping-animatie. We tonen de superioriteit van onze methode aan door middel van gebruikersstudies en kwantitatieve vergelijkingen met state-of-the-art cinemagraph-generatiemethoden en een videogeneratiemethode die gebruikmaakt van een vooraf getrainde StyleGAN.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.