StyleCineGAN: Geração de Cinemagraphs de Paisagem Utilizando um StyleGAN Pré-treinado

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

Autores: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

Resumo

Propomos um método capaz de gerar cinemagraphs automaticamente a partir de uma imagem estática de paisagem utilizando um StyleGAN pré-treinado. Inspirados pelo sucesso de recentes abordagens de geração incondicional de vídeos, aproveitamos um poderoso gerador de imagens pré-treinado para sintetizar cinemagraphs de alta qualidade. Diferentemente de abordagens anteriores que utilizam principalmente o espaço latente de um StyleGAN pré-treinado, nosso método emprega seu espaço de características profundas tanto para a inversão da GAN quanto para a geração de cinemagraphs. Especificamente, propomos o "multi-scale deep feature warping" (MSDFW), que deforma as características intermediárias de um StyleGAN pré-treinado em diferentes resoluções. Ao utilizar o MSDFW, os cinemagraphs gerados possuem alta resolução e exibem animações em loop plausíveis. Demonstramos a superioridade de nosso método por meio de estudos com usuários e comparações quantitativas com métodos state-of-the-art de geração de cinemagraphs e um método de geração de vídeo que utiliza um StyleGAN pré-treinado.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.