Hoe Dieren Dansen (Als Je Niet Kijkt)

Samenvatting

We presenteren een keyframe-gebaseerd raamwerk voor het genereren van muziekgesynchroniseerde, choreografiebewuste dieren-dansvideo's. Uitgaande van enkele keyframes die verschillende dierenposes vertegenwoordigen – gegenereerd via tekst-naar-beeld-prompting of GPT-4 – formuleren we danssynthese als een grafoptimalisatieprobleem: vind de optimale keyframe-structuur die voldoet aan een gespecificeerd choreografiepatroon van beats, dat automatisch kan worden geschat vanuit een referentie-dansvideo. We introduceren ook een benadering voor het genereren van gespiegelde posebeelden, essentieel voor het vastleggen van symmetrie in dans. Tussenliggende frames worden gesynthetiseerd met behulp van een video-diffusiemodel. Met slechts zes invoer-keyframes kan onze methode dansvideo's van maximaal 30 seconden produceren voor een breed scala aan dieren en muziektracks.

English

We present a keyframe-based framework for generating music-synchronized, choreography aware animal dance videos. Starting from a few keyframes representing distinct animal poses -- generated via text-to-image prompting or GPT-4o -- we formulate dance synthesis as a graph optimization problem: find the optimal keyframe structure that satisfies a specified choreography pattern of beats, which can be automatically estimated from a reference dance video. We also introduce an approach for mirrored pose image generation, essential for capturing symmetry in dance. In-between frames are synthesized using an video diffusion model. With as few as six input keyframes, our method can produce up to 30 second dance videos across a wide range of animals and music tracks.

Hoe Dieren Dansen (Als Je Niet Kijkt)

How Animals Dance (When You're Not Looking)

Samenvatting

Support