StyleCineGAN：使用預先訓練的 StyleGAN 生成景觀 Cinemagraph

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

作者: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

摘要

我們提出了一種方法，可以利用預先訓練的 StyleGAN 從靜態風景圖像自動生成 cinemagraphs。受到最近無條件生成視頻的成功啟發，我們利用強大的預先訓練圖像生成器來合成高質量的 cinemagraphs。與先前主要利用預先訓練的 StyleGAN 的潛在空間的方法不同，我們的方法利用其深度特徵空間進行 GAN 逆向和 cinemagraph 生成。具體來說，我們提出了多尺度深度特徵扭曲（MSDFW），它扭曲了預先訓練的 StyleGAN 在不同分辨率下的中間特徵。通過使用 MSDFW，生成的 cinemagraphs 具有高分辨率並展現出合理的循環動畫。我們通過用戶研究和與最先進的 cinemagraph 生成方法以及使用預先訓練的 StyleGAN 的視頻生成方法的定量比較，展示了我們方法的優越性。

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.