Como os Animais Dançam (Quando Você Não Está Olhando)
How Animals Dance (When You're Not Looking)
May 29, 2025
Autores: Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz
cs.AI
Resumo
Apresentamos uma estrutura baseada em keyframes para a geração de vídeos de dança de animais sincronizados com música e cientes da coreografia. A partir de alguns keyframes que representam poses distintas de animais — gerados por meio de prompts de texto para imagem ou GPT-4o — formulamos a síntese de dança como um problema de otimização de grafos: encontrar a estrutura de keyframes ideal que satisfaça um padrão coreográfico específico de batidas, que pode ser estimado automaticamente a partir de um vídeo de dança de referência. Também introduzimos uma abordagem para a geração de imagens de poses espelhadas, essencial para capturar a simetria na dança. Os frames intermediários são sintetizados usando um modelo de difusão de vídeo. Com apenas seis keyframes de entrada, nosso método pode produzir vídeos de dança de até 30 segundos para uma ampla variedade de animais e faixas musicais.
English
We present a keyframe-based framework for generating music-synchronized,
choreography aware animal dance videos. Starting from a few keyframes
representing distinct animal poses -- generated via text-to-image prompting or
GPT-4o -- we formulate dance synthesis as a graph optimization problem: find
the optimal keyframe structure that satisfies a specified choreography pattern
of beats, which can be automatically estimated from a reference dance video. We
also introduce an approach for mirrored pose image generation, essential for
capturing symmetry in dance. In-between frames are synthesized using an video
diffusion model. With as few as six input keyframes, our method can produce up
to 30 second dance videos across a wide range of animals and music tracks.