Traumkino: Kinematografischer Transfer mit freier Kamera und 3D-Charakter

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

Autoren: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

Zusammenfassung

Wir leben in einer blühenden Ära digitaler Medien, in der jeder das Potenzial hat, ein persönlicher Filmemacher zu werden. Die aktuelle Forschung zum kinematischen Transfer ermöglicht es Filmemachern, die visuellen Elemente (z.B. Kameraführung und Charakterverhalten) aus klassischen Aufnahmen zu reproduzieren und zu manipulieren. Allerdings sind die Charaktere in den neu interpretierten Filmen immer noch auf manuelle Gestaltung angewiesen, was eine erhebliche technische Komplexität und hohe Kosten mit sich bringt, die für gewöhnliche Benutzer unerreichbar sind. Darüber hinaus fehlt es der geschätzten Kameraführung an Geschmeidigkeit aufgrund unzureichender Erfassung der Bewegung zwischen den Frames und Modellierung der physikalischen Trajektorien. Glücklicherweise hat der bemerkenswerte Erfolg von 2D- und 3D-KI-gesteuerten Generatoren die Möglichkeit eröffnet, Charaktere effizient zu erstellen, die auf die Bedürfnisse der Benutzer zugeschnitten sind und die Kameraführung diversifizieren. In diesem Artikel schlagen wir DreamCinema vor, ein neuartiges kinematisches Transfer-Framework, das generative KI in das Filmproduktionsparadigma einführt und darauf abzielt, die benutzerfreundliche Filmproduktion zu erleichtern. Konkret extrahieren wir zunächst kinematische Elemente (d.h. menschliche und Kameraposition) und optimieren die Kameratrajektorie. Anschließend wenden wir einen Charaktergenerator an, um effizient 3D-Hochqualitätscharaktere mit menschlicher Struktur vorab zu erstellen. Schließlich entwickeln wir eine strukturgeleitete Bewegungsübertragungsstrategie, um die generierten Charaktere in die Filmproduktion zu integrieren und sie reibungslos über 3D-Grafik-Engines zu übertragen. Umfangreiche Experimente zeigen die Wirksamkeit unserer Methode zur Erstellung hochwertiger Filme mit freier Kamera und 3D-Charakteren.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.