動物たちのダンス（あなたが見ていないとき）

How Animals Dance (When You're Not Looking)

May 29, 2025

著者: Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz

cs.AI

要旨

本論文では、音楽に同期した、振付を考慮した動物ダンス動画を生成するためのキーフレームベースのフレームワークを提案する。テキストから画像を生成するプロンプトやGPT-4oを用いて作成された、特徴的な動物のポーズを表す少数のキーフレームから始め、ダンス合成をグラフ最適化問題として定式化する。具体的には、参照ダンス動画から自動的に推定可能なビートの振付パターンを満たす最適なキーフレーム構造を見つける。また、ダンスにおける対称性を捉えるために不可欠な、鏡像ポーズ画像生成の手法を導入する。中間フレームはビデオ拡散モデルを用いて合成される。わずか6つの入力キーフレームを用いることで、本手法は多様な動物と音楽トラックにわたる最大30秒のダンス動画を生成することが可能である。

English

We present a keyframe-based framework for generating music-synchronized, choreography aware animal dance videos. Starting from a few keyframes representing distinct animal poses -- generated via text-to-image prompting or GPT-4o -- we formulate dance synthesis as a graph optimization problem: find the optimal keyframe structure that satisfies a specified choreography pattern of beats, which can be automatically estimated from a reference dance video. We also introduce an approach for mirrored pose image generation, essential for capturing symmetry in dance. In-between frames are synthesized using an video diffusion model. With as few as six input keyframes, our method can produce up to 30 second dance videos across a wide range of animals and music tracks.