드림시네마: 자유 카메라 및 3D 캐릭터를 활용한 시네마틱 전송

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

저자: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

초록

우리는 디지털 미디어 번성 시대에 살고 있으며 누구나 개인 영화 제작자가 될 수 있는 잠재력을 갖고 있습니다. 영화적 전송에 대한 현재 연구는 영화 제작자들이 고전 샷으로부터 시각적 요소(예: 촬영 기법 및 캐릭터 행동)를 재생산하고 조작할 수 있도록 돕습니다. 그러나 재상상된 영화의 캐릭터들은 여전히 수작업에 의존하며, 이는 상당한 기술적 복잡성과 높은 비용이 필요하여 일반 사용자에게는 어렵습니다. 게다가, 예상된 촬영 기법은 인터프레임 모션의 부적절한 캡처와 물리적 궤적의 모델링으로 인해 부드러움이 부족합니다. 다행히도 2D 및 3D 인공지능 그래픽 생성의 놀라운 성공으로 사용자의 요구에 맞게 캐릭터를 효율적으로 생성하여 촬영 기법을 다양화할 수 있는 가능성이 열렸습니다. 본 논문에서는 사용자 친화적인 영화 제작을 지원하기 위해 영화 제작 패러다임에 생성적 인공지능을 선도하는 새로운 영화적 전송 프레임워크인 DreamCinema를 제안합니다. 구체적으로, 우리는 먼저 영화적 요소(즉, 인간 및 카메라 포즈)를 추출하고 카메라 궤적을 최적화합니다. 그런 다음 캐릭터 생성기를 적용하여 인간 구조를 기반으로 3D 고품질 캐릭터를 효율적으로 생성합니다. 마지막으로 생성된 캐릭터를 영화 제작에 통합하고 3D 그래픽 엔진을 통해 부드럽게 전송하기 위해 구조 안내 모션 전송 전략을 개발합니다. 광범위한 실험은 우리의 방법이 자유로운 카메라와 3D 캐릭터로 고품질 영화를 만드는 데 효과적임을 입증합니다.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.