동물들은 어떻게 춤을 출까 (당신이 보지 않을 때)

How Animals Dance (When You're Not Looking)

May 29, 2025

저자: Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz

cs.AI

초록

음악과 동기화된, 안무를 고려한 동물 댄스 비디오를 생성하기 위한 키프레임 기반 프레임워크를 제안합니다. 텍스트-이미지 프롬프트나 GPT-4o를 통해 생성된 독특한 동물 자세를 나타내는 몇 개의 키프레임을 시작점으로, 우리는 댄스 합성을 그래프 최적화 문제로 공식화합니다: 참조 댄스 비디오에서 자동으로 추정할 수 있는 비트의 특정 안무 패턴을 만족시키는 최적의 키프레임 구조를 찾는 것입니다. 또한, 댄스에서 대칭성을 포착하기 위해 필수적인 미러링된 포즈 이미지 생성 접근법을 소개합니다. 중간 프레임들은 비디오 확산 모델을 사용하여 합성됩니다. 단 6개의 입력 키프레임만으로도, 우리의 방법은 다양한 동물과 음악 트랙에 걸쳐 최대 30초 길이의 댄스 비디오를 생성할 수 있습니다.

English

We present a keyframe-based framework for generating music-synchronized, choreography aware animal dance videos. Starting from a few keyframes representing distinct animal poses -- generated via text-to-image prompting or GPT-4o -- we formulate dance synthesis as a graph optimization problem: find the optimal keyframe structure that satisfies a specified choreography pattern of beats, which can be automatically estimated from a reference dance video. We also introduce an approach for mirrored pose image generation, essential for capturing symmetry in dance. In-between frames are synthesized using an video diffusion model. With as few as six input keyframes, our method can produce up to 30 second dance videos across a wide range of animals and music tracks.