DreamCinema : Transfert cinématographique avec caméra libre et personnage en 3D

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

Auteurs: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

Résumé

Nous vivons à l'ère florissante des médias numériques, où chacun a le potentiel de devenir un cinéaste personnel. Les recherches actuelles sur le transfert cinématographique permettent aux cinéastes de reproduire et de manipuler les éléments visuels (par exemple, la cinématographie et les comportements des personnages) à partir de plans classiques. Cependant, les personnages dans les films réimaginés dépendent toujours d'une fabrication manuelle, impliquant une complexité technique significative et des coûts élevés, ce qui le rend inaccessible aux utilisateurs ordinaires. De plus, leur cinématographie estimée manque de fluidité en raison d'une capture inadéquate du mouvement inter-trames et de la modélisation des trajectoires physiques. Heureusement, le succès remarquable de l'AIGC en 2D et 3D a ouvert la voie à la possibilité de générer efficacement des personnages adaptés aux besoins des utilisateurs, diversifiant ainsi la cinématographie. Dans cet article, nous proposons DreamCinema, un nouveau cadre de transfert cinématographique qui pionnie l'intégration de l'IA générative dans le paradigme de production cinématographique, visant à faciliter la création de films conviviaux. Plus précisément, nous extrayons d'abord les éléments cinématographiques (c'est-à-dire, la pose humaine et de la caméra) et optimisons la trajectoire de la caméra. Ensuite, nous appliquons un générateur de personnages pour créer efficacement des personnages 3D de haute qualité avec une structure humaine préalable. Enfin, nous développons une stratégie de transfert de mouvement guidée par la structure pour incorporer les personnages générés dans la création cinématographique et les transférer via des moteurs graphiques 3D en toute fluidité. Des expériences approfondies démontrent l'efficacité de notre méthode pour créer des films de haute qualité avec une caméra libre et des personnages en 3D.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.