Как танцуют животные (когда на них никто не смотрит)

How Animals Dance (When You're Not Looking)

May 29, 2025

Авторы: Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz

cs.AI

Аннотация

Мы представляем основанный на ключевых кадрах фреймворк для создания синхронизированных с музыкой видеороликов с танцующими животными, учитывающих хореографию. Начиная с нескольких ключевых кадров, представляющих различные позы животных — сгенерированных с помощью текстовых подсказок для создания изображений или GPT-4o — мы формулируем синтез танца как задачу оптимизации графа: найти оптимальную структуру ключевых кадров, которая удовлетворяет заданному хореографическому паттерну ритмов, который может быть автоматически оценен на основе эталонного танцевального видео. Мы также представляем подход для генерации зеркальных изображений поз, что важно для отражения симметрии в танце. Промежуточные кадры синтезируются с использованием видео-диффузионной модели. Всего с шестью входными ключевыми кадрами наш метод способен создавать танцевальные видео продолжительностью до 30 секунд для широкого спектра животных и музыкальных треков.

English

We present a keyframe-based framework for generating music-synchronized, choreography aware animal dance videos. Starting from a few keyframes representing distinct animal poses -- generated via text-to-image prompting or GPT-4o -- we formulate dance synthesis as a graph optimization problem: find the optimal keyframe structure that satisfies a specified choreography pattern of beats, which can be automatically estimated from a reference dance video. We also introduce an approach for mirrored pose image generation, essential for capturing symmetry in dance. In-between frames are synthesized using an video diffusion model. With as few as six input keyframes, our method can produce up to 30 second dance videos across a wide range of animals and music tracks.