DreamCinema: Trasferimento Cinematografico con Fotocamera Libera e Personaggi 3D

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

Autori: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

Abstract

Viviamo in un'era fiorente di media digitali, in cui tutti hanno il potenziale per diventare registi personali. La ricerca attuale sul trasferimento cinematografico consente ai filmmaker di riprodurre e manipolare gli elementi visivi (ad esempio, la cinematografia e i comportamenti dei personaggi) di scene classiche. Tuttavia, i personaggi nei film reinventati si basano ancora su una creazione manuale, che comporta una significativa complessità tecnica e costi elevati, rendendola inaccessibile per gli utenti comuni. Inoltre, la loro cinematografia stimata manca di fluidità a causa di una cattura inadeguata del movimento inter-fotogramma e della modellazione delle traiettorie fisiche. Fortunatamente, il notevole successo dell'AIGC 2D e 3D ha aperto la possibilità di generare in modo efficiente personaggi su misura per le esigenze degli utenti, diversificando la cinematografia. In questo articolo, proponiamo DreamCinema, un nuovo framework di trasferimento cinematografico che introduce l'IA generativa nel paradigma della produzione cinematografica, con l'obiettivo di facilitare la creazione di film user-friendly. Nello specifico, estraiamo prima gli elementi cinematografici (cioè la posa umana e della telecamera) e ottimizziamo la traiettoria della telecamera. Successivamente, applichiamo un generatore di personaggi per creare in modo efficiente personaggi 3D di alta qualità con una struttura umana predefinita. Infine, sviluppiamo una strategia di trasferimento del movimento guidata dalla struttura per incorporare i personaggi generati nella creazione del film e trasferirli in modo fluido tramite motori grafici 3D. Esperimenti estensivi dimostrano l'efficacia del nostro metodo per creare film di alta qualità con telecamera libera e personaggi 3D.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.