StyleCineGAN: Генерация пейзажных синемаграфов с использованием предварительно обученного StyleGAN

StyleCineGAN: Landscape Cinemagraph Generation using a Pre-trained StyleGAN

March 21, 2024

Авторы: Jongwoo Choi, Kwanggyoon Seo, Amirsaman Ashtari, Junyong Noh

cs.AI

Аннотация

Мы предлагаем метод, который автоматически генерирует синемаграфы из неподвижного изображения ландшафта с использованием предварительно обученной StyleGAN. Вдохновленные успехом недавних методов безусловной генерации видео, мы используем мощный предварительно обученный генератор изображений для синтеза качественных синемаграфов. В отличие от предыдущих подходов, которые в основном используют латентное пространство предварительно обученной StyleGAN, наш метод использует ее глубокое пространство признаков как для инверсии GAN, так и для генерации синемаграфов. Конкретно, мы предлагаем многомасштабное искажение глубоких признаков (MSDFW), которое искажает промежуточные признаки предварительно обученной StyleGAN на разных разрешениях. Используя MSDFW, сгенерированные синемаграфы имеют высокое разрешение и демонстрируют правдоподобную циклическую анимацию. Мы демонстрируем превосходство нашего метода через пользовательские исследования и количественные сравнения с передовыми методами генерации синемаграфов и методом генерации видео, использующим предварительно обученную StyleGAN.

English

We propose a method that can generate cinemagraphs automatically from a still landscape image using a pre-trained StyleGAN. Inspired by the success of recent unconditional video generation, we leverage a powerful pre-trained image generator to synthesize high-quality cinemagraphs. Unlike previous approaches that mainly utilize the latent space of a pre-trained StyleGAN, our approach utilizes its deep feature space for both GAN inversion and cinemagraph generation. Specifically, we propose multi-scale deep feature warping (MSDFW), which warps the intermediate features of a pre-trained StyleGAN at different resolutions. By using MSDFW, the generated cinemagraphs are of high resolution and exhibit plausible looping animation. We demonstrate the superiority of our method through user studies and quantitative comparisons with state-of-the-art cinemagraph generation methods and a video generation method that uses a pre-trained StyleGAN.