StyleCineGAN: Generación de Cinegrafías de Paisajes utilizando un StyleGAN Preentrenado

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

Autores: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

Resumen

Proponemos un método que puede generar cinemagraphs automáticamente a partir de una imagen fija de paisaje utilizando un StyleGAN preentrenado. Inspirados por el éxito de la generación incondicional de videos reciente, aprovechamos un potente generador de imágenes preentrenado para sintetizar cinemagraphs de alta calidad. A diferencia de enfoques anteriores que utilizan principalmente el espacio latente de un StyleGAN preentrenado, nuestro método aprovecha su espacio de características profundas tanto para la inversión de GAN como para la generación de cinemagraphs. Específicamente, proponemos el deformado de características profundas a múltiples escalas (MSDFW, por sus siglas en inglés), que deforma las características intermedias de un StyleGAN preentrenado en diferentes resoluciones. Al utilizar MSDFW, los cinemagraphs generados son de alta resolución y exhiben animaciones en bucle plausibles. Demostramos la superioridad de nuestro método mediante estudios de usuario y comparaciones cuantitativas con métodos de generación de cinemagraphs de última generación y un método de generación de videos que utiliza un StyleGAN preentrenado.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.