DreaMoving: Um Framework de Geração de Vídeos de Dança Humana Baseado em Modelos de Difusão

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

December 8, 2023

Autores: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie

cs.AI

Resumo

Neste artigo, apresentamos o DreaMoving, um framework de geração de vídeo controlável baseado em difusão para produzir vídeos de dança humana personalizados de alta qualidade. Especificamente, dadas sequências de identidade e postura alvo, o DreaMoving pode gerar um vídeo da identidade alvo dançando em qualquer lugar, guiado pelas sequências de postura. Para isso, propomos um Video ControlNet para controle de movimento e um Content Guider para preservação de identidade. O modelo proposto é fácil de usar e pode ser adaptado à maioria dos modelos de difusão estilizados para gerar resultados diversos. A página do projeto está disponível em https://dreamoving.github.io/dreamoving.

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.