DreaMoving: Un Framework per la Generazione di Video di Danza Umana basato su Modelli di Diffusione

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

December 8, 2023

Autori: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie

cs.AI

Abstract

In questo articolo presentiamo DreaMoving, un framework di generazione video controllabile basato su diffusione per produrre video di danza umana personalizzati di alta qualità. Nello specifico, dati una sequenza di identità target e una sequenza di posture, DreaMoving è in grado di generare un video in cui l'identità target danza seguendo le sequenze di posture. A tal fine, proponiamo un Video ControlNet per il controllo del movimento e un Content Guider per la preservazione dell'identità. Il modello proposto è di facile utilizzo e può essere adattato alla maggior parte dei modelli di diffusione stilizzati per generare risultati diversificati. La pagina del progetto è disponibile all'indirizzo https://dreamoving.github.io/dreamoving.

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.