DreaMoving: Een Framework voor het Genereren van Menselijke Dansvideo's gebaseerd op Diffusiemodellen

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

December 8, 2023

Auteurs: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie

cs.AI

Samenvatting

In dit artikel presenteren we DreaMoving, een op diffusie gebaseerd framework voor het genereren van bestuurbare video's om hoogwaardige gepersonaliseerde dansvideo's van mensen te produceren. Specifiek kan DreaMoving, gegeven doelidentiteit en houdingssequenties, een video genereren van de doelidentiteit die overal danst, aangestuurd door de houdingssequenties. Hiertoe stellen we een Video ControlNet voor voor bewegingenbesturing en een Content Guider voor identiteitsbehoud. Het voorgestelde model is gebruiksvriendelijk en kan worden aangepast aan de meeste gestileerde diffusiemodellen om diverse resultaten te genereren. De projectpagina is beschikbaar op https://dreamoving.github.io/dreamoving.

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.