DreamCinema: Transferência Cinemática com Câmera Livre e Personagem 3D

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

Autores: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

Resumo

Estamos vivendo em uma era próspera de mídia digital, onde todos têm o potencial de se tornar um cineasta pessoal. A pesquisa atual sobre transferência cinematográfica capacita os cineastas a reproduzir e manipular os elementos visuais (por exemplo, cinematografia e comportamentos de personagens) de cenas clássicas. No entanto, os personagens nos filmes reimaginados ainda dependem de criação manual, o que envolve uma complexidade técnica significativa e altos custos, tornando isso inatingível para usuários comuns. Além disso, a cinematografia estimada carece de suavidade devido à captura inadequada de movimento entre quadros e modelagem de trajetórias físicas. Felizmente, o notável sucesso da IA generativa 2D e 3D abriu a possibilidade de gerar eficientemente personagens adaptados às necessidades dos usuários, diversificando a cinematografia. Neste artigo, propomos o DreamCinema, um novo framework de transferência cinematográfica que pioneira a IA generativa no paradigma de produção cinematográfica, com o objetivo de facilitar a criação de filmes amigáveis ao usuário. Especificamente, primeiro extraímos elementos cinematográficos (ou seja, pose humana e da câmera) e otimizamos a trajetória da câmera. Em seguida, aplicamos um gerador de personagens para criar eficientemente personagens 3D de alta qualidade com uma estrutura humana prévia. Por fim, desenvolvemos uma estratégia de transferência de movimento guiada por estrutura para incorporar personagens gerados na criação de filmes e transferi-los suavemente por meio de motores gráficos 3D. Experimentos extensivos demonstram a eficácia de nosso método para criar filmes de alta qualidade com câmera livre e personagens 3D.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.