Comment les animaux dansent (quand vous ne regardez pas)

How Animals Dance (When You're Not Looking)

May 29, 2025

Auteurs: Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz

cs.AI

Résumé

Nous présentons un cadre basé sur des images clés pour générer des vidéos de danse animale synchronisées à la musique et conscientes de la chorégraphie. En partant de quelques images clés représentant des poses distinctes d'animaux — générées via des invites texte-image ou GPT-4o — nous formulons la synthèse de danse comme un problème d'optimisation de graphe : trouver la structure d'images clés optimale qui satisfait un motif chorégraphique spécifique de battements, lequel peut être automatiquement estimé à partir d'une vidéo de danse de référence. Nous introduisons également une approche pour la génération d'images de poses en miroir, essentielle pour capturer la symétrie dans la danse. Les images intermédiaires sont synthétisées à l'aide d'un modèle de diffusion vidéo. Avec seulement six images clés en entrée, notre méthode peut produire des vidéos de danse allant jusqu'à 30 secondes pour une large gamme d'animaux et de pistes musicales.

English

We present a keyframe-based framework for generating music-synchronized, choreography aware animal dance videos. Starting from a few keyframes representing distinct animal poses -- generated via text-to-image prompting or GPT-4o -- we formulate dance synthesis as a graph optimization problem: find the optimal keyframe structure that satisfies a specified choreography pattern of beats, which can be automatically estimated from a reference dance video. We also introduce an approach for mirrored pose image generation, essential for capturing symmetry in dance. In-between frames are synthesized using an video diffusion model. With as few as six input keyframes, our method can produce up to 30 second dance videos across a wide range of animals and music tracks.