Wie Tiere tanzen (wenn niemand hinsieht)

How Animals Dance (When You're Not Looking)

May 29, 2025

Autoren: Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz

cs.AI

Zusammenfassung

Wir präsentieren ein Keyframe-basiertes Framework zur Erzeugung von musik-synchronisierten, choreografiebewussten Tier-Tanzvideos. Ausgehend von wenigen Keyframes, die unterschiedliche Tierposen darstellen – erzeugt durch Text-zu-Bild-Prompting oder GPT-4o – formulieren wir die Tanzsynthese als ein Graph-Optimierungsproblem: Finde die optimale Keyframe-Struktur, die ein vorgegebenes Choreografie-Muster von Beats erfüllt, das automatisch aus einem Referenztanzvideo geschätzt werden kann. Wir führen zudem einen Ansatz zur Erzeugung gespiegelter Posendarstellungen ein, der essenziell ist, um Symmetrie im Tanz zu erfassen. Zwischenframes werden mithilfe eines Video-Diffusionsmodells synthetisiert. Mit nur sechs Eingabe-Keyframes kann unsere Methode bis zu 30 Sekunden lange Tanzvideos für eine Vielzahl von Tieren und Musikstücken erzeugen.

English

We present a keyframe-based framework for generating music-synchronized, choreography aware animal dance videos. Starting from a few keyframes representing distinct animal poses -- generated via text-to-image prompting or GPT-4o -- we formulate dance synthesis as a graph optimization problem: find the optimal keyframe structure that satisfies a specified choreography pattern of beats, which can be automatically estimated from a reference dance video. We also introduce an approach for mirrored pose image generation, essential for capturing symmetry in dance. In-between frames are synthesized using an video diffusion model. With as few as six input keyframes, our method can produce up to 30 second dance videos across a wide range of animals and music tracks.