DreamCinema: Cinematische Overdracht met Vrije Camera en 3D-Personage

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

Auteurs: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

Samenvatting

We leven in een bloeiend tijdperk van digitale media, waarin iedereen het potentieel heeft om een persoonlijke filmmaker te worden. Huidig onderzoek naar cinematische overdracht stelt filmmakers in staat om visuele elementen (bijvoorbeeld cinematografie en karaktergedrag) uit klassieke shots te reproduceren en te manipuleren. Echter, karakters in de herziene films zijn nog steeds afhankelijk van handmatige creatie, wat aanzienlijke technische complexiteit en hoge kosten met zich meebrengt, waardoor het onbereikbaar is voor gewone gebruikers. Bovendien ontbreekt het hun geschatte cinematografie aan vloeiendheid door onvoldoende vastlegging van inter-frame beweging en modellering van fysieke trajecten. Gelukkig heeft het opmerkelijke succes van 2D en 3D AIGC de mogelijkheid geopend om efficiënt karakters te genereren die zijn afgestemd op de behoeften van gebruikers, waardoor de cinematografie wordt gediversifieerd. In dit artikel stellen we DreamCinema voor, een nieuw cinematisch overdrachtsraamwerk dat generatieve AI introduceert in het filmproductieparadigma, met als doel gebruiksvriendelijke filmcreatie te vergemakkelijken. Specifiek extraheren we eerst cinematische elementen (d.w.z. menselijke en cameraposes) en optimaliseren we het cameratrajec. Vervolgens passen we een karaktergenerator toe om efficiënt 3D-karakters van hoge kwaliteit te creëren met een voorafgaande menselijke structuur. Ten slotte ontwikkelen we een structuurgeleide bewegingsoverdrachtsstrategie om gegenereerde karakters in filmcreatie te integreren en deze soepel over te dragen via 3D-graphics engines. Uitgebreide experimenten tonen de effectiviteit van onze methode aan voor het creëren van hoogwaardige films met vrije camera en 3D-karakters.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.