DreaMoving: Ein Framework zur Generierung menschlicher Tanzvideos basierend auf Diffusionsmodellen

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

December 8, 2023

Autoren: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie

cs.AI

Zusammenfassung

In diesem Artikel präsentieren wir DreaMoving, ein diffusionsbasiertes, steuerbares Videogenerierungsframework zur Erstellung hochwertiger, personalisierter Tanzvideos von Menschen. Konkret kann DreaMoving, basierend auf Zielidentitäten und Haltungssequenzen, ein Video generieren, in dem die Zielidentität überall getrieben durch die Haltungssequenzen tanzt. Zu diesem Zweck schlagen wir ein Video ControlNet für die Bewegungssteuerung und einen Content Guider zur Identitätsbewahrung vor. Das vorgeschlagene Modell ist einfach zu bedienen und kann an die meisten stilisierten Diffusionsmodelle angepasst werden, um vielfältige Ergebnisse zu erzielen. Die Projektseite ist verfügbar unter https://dreamoving.github.io/dreamoving.

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.