StyleCineGAN: 事前学習済みStyleGANを用いた風景シネマグラフ生成

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

著者: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

要旨

本研究では、事前学習済みのStyleGANを用いて静止した風景画像から自動的にシネマグラフを生成する手法を提案する。近年の無条件動画生成の成功に着想を得て、我々は強力な事前学習済み画像生成器を活用し、高品質なシネマグラフを合成する。従来のアプローチが主に事前学習済みStyleGANの潜在空間を利用するのに対し、本手法ではGAN逆変換とシネマグラフ生成の両方にその深層特徴空間を活用する。具体的には、事前学習済みStyleGANの中間特徴を異なる解像度でワープするマルチスケール深層特徴ワーピング（MSDFW）を提案する。MSDFWを用いることで、生成されるシネマグラフは高解像度であり、自然なループアニメーションを実現する。我々は、ユーザスタディと最新のシネマグラフ生成手法および事前学習済みStyleGANを用いた動画生成手法との定量的比較を通じて、本手法の優位性を実証する。

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.