DreaMoving: 확산 모델 기반 인간 댄스 비디오 생성 프레임워크

초록

본 논문에서는 고품질의 맞춤형 인간 댄스 비디오를 생성하기 위한 확산 기반 제어 가능 비디오 생성 프레임워크인 DreaMoving을 소개합니다. 구체적으로, 목표 신원과 자세 시퀀스가 주어지면 DreaMoving은 해당 자세 시퀀스에 의해 구동되는 어디에서나 목표 신원이 춤추는 비디오를 생성할 수 있습니다. 이를 위해, 우리는 모션 제어를 위한 Video ControlNet과 신원 보존을 위한 Content Guider를 제안합니다. 제안된 모델은 사용하기 쉬우며 대부분의 스타일화된 확산 모델에 적용 가능하여 다양한 결과를 생성할 수 있습니다. 프로젝트 페이지는 https://dreamoving.github.io/dreamoving에서 확인할 수 있습니다.

English

In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.

DreaMoving: 확산 모델 기반 인간 댄스 비디오 생성 프레임워크

DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

초록

Support