Cómo bailan los animales (cuando no los estás mirando)

How Animals Dance (When You're Not Looking)

May 29, 2025

Autores: Xiaojuan Wang, Aleksander Holynski, Brian Curless, Ira Kemelmacher, Steve Seitz

cs.AI

Resumen

Presentamos un marco basado en fotogramas clave para generar videos de baile de animales sincronizados con la música y conscientes de la coreografía. Partiendo de unos pocos fotogramas clave que representan poses distintivas de animales —generados mediante indicaciones de texto a imagen o GPT-4o— formulamos la síntesis de baile como un problema de optimización de grafos: encontrar la estructura óptima de fotogramas clave que satisfaga un patrón coreográfico específico de beats, el cual puede estimarse automáticamente a partir de un video de baile de referencia. También introducimos un enfoque para la generación de imágenes de poses reflejadas, esencial para capturar la simetría en el baile. Los fotogramas intermedios se sintetizan utilizando un modelo de difusión de video. Con tan solo seis fotogramas clave de entrada, nuestro método puede producir videos de baile de hasta 30 segundos para una amplia gama de animales y pistas musicales.

English

We present a keyframe-based framework for generating music-synchronized, choreography aware animal dance videos. Starting from a few keyframes representing distinct animal poses -- generated via text-to-image prompting or GPT-4o -- we formulate dance synthesis as a graph optimization problem: find the optimal keyframe structure that satisfies a specified choreography pattern of beats, which can be automatically estimated from a reference dance video. We also introduce an approach for mirrored pose image generation, essential for capturing symmetry in dance. In-between frames are synthesized using an video diffusion model. With as few as six input keyframes, our method can produce up to 30 second dance videos across a wide range of animals and music tracks.