GEN3C: 정밀한 카메라 제어를 통한 3D 정보 기반 세계 일관성 비디오 생성

GEN3C: 3D-Informed World-Consistent Video Generation with Precise Camera Control

March 5, 2025

저자: Xuanchi Ren, Tianchang Shen, Jiahui Huang, Huan Ling, Yifan Lu, Merlin Nimier-David, Thomas Müller, Alexander Keller, Sanja Fidler, Jun Gao

cs.AI

초록

정확한 카메라 제어와 시간적 3D 일관성을 갖춘 생성적 비디오 모델인 GEN3C를 소개합니다. 기존의 비디오 모델들은 이미 사실적인 비디오를 생성하지만, 3D 정보를 거의 활용하지 않아 물체가 갑자기 나타나거나 사라지는 등의 불일치가 발생하는 경향이 있습니다. 카메라 제어가 구현된 경우에도, 카메라 매개변수가 단순히 신경망의 입력으로 제공되기 때문에 비디오가 카메라에 어떻게 의존하는지를 추론해야 하므로 정확도가 떨어집니다. 반면, GEN3C는 3D 캐시에 의해 안내됩니다: 이 캐시는 시드 이미지나 이전에 생성된 프레임의 픽셀 단위 깊이를 예측하여 얻은 포인트 클라우드로 구성됩니다. 다음 프레임을 생성할 때, GEN3C는 사용자가 제공한 새로운 카메라 궤적에 따라 3D 캐시의 2D 렌더링에 조건부로 작동합니다. 이는 GEN3C가 이전에 생성한 내용을 기억할 필요도 없고, 카메라 포즈에서 이미지 구조를 추론할 필요도 없음을 의미합니다. 대신, 모델은 이전에 관찰되지 않은 영역과 다음 프레임으로 장면 상태를 진행하는 데 모든 생성 능력을 집중할 수 있습니다. 우리의 결과는 기존 연구보다 더 정확한 카메라 제어를 보여주며, 드라이빙 장면이나 단안 동적 비디오와 같은 도전적인 설정에서도 희소 시점 신시점 합성에서 최첨단 성능을 달성합니다. 결과는 비디오로 보는 것이 가장 좋습니다. 우리의 웹페이지를 확인해 보세요! https://research.nvidia.com/labs/toronto-ai/GEN3C/

English

We present GEN3C, a generative video model with precise Camera Control and temporal 3D Consistency. Prior video models already generate realistic videos, but they tend to leverage little 3D information, leading to inconsistencies, such as objects popping in and out of existence. Camera control, if implemented at all, is imprecise, because camera parameters are mere inputs to the neural network which must then infer how the video depends on the camera. In contrast, GEN3C is guided by a 3D cache: point clouds obtained by predicting the pixel-wise depth of seed images or previously generated frames. When generating the next frames, GEN3C is conditioned on the 2D renderings of the 3D cache with the new camera trajectory provided by the user. Crucially, this means that GEN3C neither has to remember what it previously generated nor does it have to infer the image structure from the camera pose. The model, instead, can focus all its generative power on previously unobserved regions, as well as advancing the scene state to the next frame. Our results demonstrate more precise camera control than prior work, as well as state-of-the-art results in sparse-view novel view synthesis, even in challenging settings such as driving scenes and monocular dynamic video. Results are best viewed in videos. Check out our webpage! https://research.nvidia.com/labs/toronto-ai/GEN3C/