DreaMoving : Un cadre de génération de vidéos de danse humaine basé sur des modèles de diffusion

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

December 8, 2023

Auteurs: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie

cs.AI

Résumé

Dans cet article, nous présentons DreaMoving, un cadre de génération de vidéos contrôlable basé sur la diffusion pour produire des vidéos de danse humaine personnalisées de haute qualité. Plus précisément, étant donné une séquence de postures et une identité cible, DreaMoving peut générer une vidéo de l'identité cible dansant n'importe où, guidée par les séquences de postures. Pour ce faire, nous proposons un Video ControlNet pour le contrôle du mouvement et un Content Guider pour la préservation de l'identité. Le modèle proposé est facile à utiliser et peut être adapté à la plupart des modèles de diffusion stylisés pour générer des résultats diversifiés. La page du projet est disponible à l'adresse suivante : https://dreamoving.github.io/dreamoving.

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.