DreamCinema: Transferencia Cinematográfica con Cámara Libre y Personaje 3D

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

Autores: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

Resumen

Estamos viviendo en una era floreciente de medios digitales, donde todos tienen el potencial de convertirse en cineastas personales. La investigación actual sobre transferencia cinematográfica capacita a los cineastas para reproducir y manipular los elementos visuales (por ejemplo, cinematografía y comportamientos de personajes) de tomas clásicas. Sin embargo, los personajes en las películas reimaginadas aún dependen de la creación manual, lo cual implica una complejidad técnica significativa y altos costos, haciéndolo inalcanzable para usuarios comunes. Además, su cinematografía estimada carece de fluidez debido a una captura inadecuada del movimiento entre fotogramas y modelado de trayectorias físicas. Afortunadamente, el notable éxito de la IA generativa 2D y 3D ha abierto la posibilidad de generar eficientemente personajes adaptados a las necesidades de los usuarios, diversificando la cinematografía. En este documento, proponemos DreamCinema, un nuevo marco de transferencia cinematográfica que pone a la IA generativa a la vanguardia del paradigma de producción cinematográfica, con el objetivo de facilitar la creación de películas fácil de usar. Específicamente, primero extraemos elementos cinematográficos (es decir, postura humana y de cámara) y optimizamos la trayectoria de la cámara. Luego, aplicamos un generador de personajes para crear eficientemente personajes 3D de alta calidad con una estructura humana previa. Finalmente, desarrollamos una estrategia de transferencia de movimiento guiada por la estructura para incorporar personajes generados en la creación de películas y transferirlo suavemente a través de motores gráficos 3D. Experimentos extensos demuestran la efectividad de nuestro método para crear películas de alta calidad con cámara libre y personajes 3D.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.