StyleCineGAN: 사전 학습된 StyleGAN을 활용한 풍경 시네마그래프 생성

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

저자: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

초록

우리는 사전 학습된 StyleGAN을 사용하여 정적인 풍경 이미지로부터 자동으로 시네마그래프를 생성할 수 있는 방법을 제안합니다. 최근의 무조건 비디오 생성의 성공에 영감을 받아, 우리는 강력한 사전 학습된 이미지 생성기를 활용하여 고품질의 시네마그래프를 합성합니다. 기존의 접근 방식들이 주로 사전 학습된 StyleGAN의 잠재 공간을 활용한 것과 달리, 우리의 접근 방식은 GAN 역전사와 시네마그래프 생성을 위해 StyleGAN의 깊은 특징 공간을 활용합니다. 구체적으로, 우리는 다양한 해상도에서 사전 학습된 StyleGAN의 중간 특징들을 왜곡하는 다중 스케일 깊은 특징 왜곡(MSDFW)을 제안합니다. MSDFW를 사용함으로써 생성된 시네마그래프는 고해상도이며 자연스러운 루프 애니메이션을 보여줍니다. 우리는 사용자 연구와 최신 시네마그래프 생성 방법 및 사전 학습된 StyleGAN을 사용하는 비디오 생성 방법과의 정량적 비교를 통해 우리 방법의 우수성을 입증합니다.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.