DreaMoving：拡散モデルに基づく人間のダンス動画生成フレームワーク

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

December 8, 2023

著者: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie

cs.AI

要旨

本論文では、高品質なカスタマイズされた人間のダンス動画を生成するための、拡散モデルベースの制御可能な動画生成フレームワーク「DreaMoving」を提案する。具体的には、対象となる人物のIDとポーズシーケンスが与えられた場合、DreaMovingはポーズシーケンスに基づいて、その人物が任意の場所でダンスする動画を生成することができる。これを実現するために、モーション制御のための「Video ControlNet」と、IDを保持するための「Content Guider」を提案する。提案モデルは使いやすく、ほとんどのスタイル化された拡散モデルに適応可能で、多様な結果を生成することができる。プロジェクトページはhttps://dreamoving.github.io/dreamovingで公開されている。

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.