DreaMoving: Un Marco de Generación de Videos de Baile Humano Basado en Modelos de Difusión

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

December 8, 2023

Autores: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie

cs.AI

Resumen

En este artículo, presentamos DreaMoving, un marco de generación de videos controlable basado en difusión para producir videos personalizados de alta calidad de bailes humanos. Específicamente, dados una identidad objetivo y secuencias de posturas, DreaMoving puede generar un video de la identidad objetivo bailando en cualquier lugar guiado por las secuencias de posturas. Para ello, proponemos un Video ControlNet para el control del movimiento y un Content Guider para la preservación de la identidad. El modelo propuesto es fácil de usar y puede adaptarse a la mayoría de los modelos de difusión estilizados para generar resultados diversos. La página del proyecto está disponible en https://dreamoving.github.io/dreamoving.

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.