GEN3C: Generazione di Video Consistente con il Mondo 3D e Controllo Preciso della Fotocamera

GEN3C: 3D-Informed World-Consistent Video Generation with Precise Camera Control

March 5, 2025

Autori: Xuanchi Ren, Tianchang Shen, Jiahui Huang, Huan Ling, Yifan Lu, Merlin Nimier-David, Thomas Müller, Alexander Keller, Sanja Fidler, Jun Gao

cs.AI

Abstract

Presentiamo GEN3C, un modello generativo di video con un controllo preciso della telecamera e una consistenza temporale 3D. I precedenti modelli video sono già in grado di generare video realistici, ma tendono a sfruttare poche informazioni 3D, portando a incoerenze, come oggetti che compaiono e scompaiono improvvisamente. Il controllo della telecamera, se implementato, è impreciso, poiché i parametri della telecamera sono semplici input per la rete neurale, che deve quindi dedurre come il video dipenda dalla telecamera. Al contrario, GEN3C è guidato da una cache 3D: nuvole di punti ottenute prevedendo la profondità pixel per pixel delle immagini di partenza o dei fotogrammi precedentemente generati. Durante la generazione dei fotogrammi successivi, GEN3C è condizionato dalle rappresentazioni 2D della cache 3D con la nuova traiettoria della telecamera fornita dall'utente. Questo significa che GEN3C non deve ricordare ciò che ha generato in precedenza né dedurre la struttura dell'immagine dalla posa della telecamera. Il modello può invece concentrare tutta la sua potenza generativa sulle regioni non precedentemente osservate, oltre a far avanzare lo stato della scena al fotogramma successivo. I nostri risultati dimostrano un controllo della telecamera più preciso rispetto ai lavori precedenti, nonché risultati all'avanguardia nella sintesi di nuove viste da viste sparse, anche in contesti impegnativi come scene di guida e video dinamici monoculari. I risultati sono meglio apprezzabili nei video. Visita la nostra pagina web! https://research.nvidia.com/labs/toronto-ai/GEN3C/

English

We present GEN3C, a generative video model with precise Camera Control and temporal 3D Consistency. Prior video models already generate realistic videos, but they tend to leverage little 3D information, leading to inconsistencies, such as objects popping in and out of existence. Camera control, if implemented at all, is imprecise, because camera parameters are mere inputs to the neural network which must then infer how the video depends on the camera. In contrast, GEN3C is guided by a 3D cache: point clouds obtained by predicting the pixel-wise depth of seed images or previously generated frames. When generating the next frames, GEN3C is conditioned on the 2D renderings of the 3D cache with the new camera trajectory provided by the user. Crucially, this means that GEN3C neither has to remember what it previously generated nor does it have to infer the image structure from the camera pose. The model, instead, can focus all its generative power on previously unobserved regions, as well as advancing the scene state to the next frame. Our results demonstrate more precise camera control than prior work, as well as state-of-the-art results in sparse-view novel view synthesis, even in challenging settings such as driving scenes and monocular dynamic video. Results are best viewed in videos. Check out our webpage! https://research.nvidia.com/labs/toronto-ai/GEN3C/