LagerNVS: Geometria Latente para Síntese Neural em Tempo Real de Novas Visões
LagerNVS: Latent Geometry for Fully Neural Real-time Novel View Synthesis
March 20, 2026
Autores: Stanislaw Szymanowicz, Minghao Chen, Jianyuan Wang, Christian Rupprecht, Andrea Vedaldi
cs.AI
Resumo
Trabalhos recentes demonstraram que redes neurais podem executar tarefas 3D, como Síntese de Novas Visões (NVS), sem reconstrução 3D explícita. Mesmo assim, argumentamos que fortes vieses indutivos 3D ainda são úteis no projeto dessas redes. Demonstramos este ponto introduzindo o LagerNVS, uma rede neural codificador-decodificador para NVS que se baseia em características latentes 'conscientes da 3D'. O codificador é inicializado a partir de uma rede de reconstrução 3D pré-treinada usando supervisão 3D explícita. Este é emparelhado com um decodificador leve e treinado de ponta a ponta com perdas fotométricas. O LagerNVS alcança o estado da arte em Síntese de Novas Visões determinística de avanço direto (incluindo 31.4 PSNR no Re10k), com ou sem câmeras conhecidas, renderiza em tempo real, generaliza para dados do mundo real e pode ser combinado com um decodificador de difusão para extrapolação generativa.
English
Recent work has shown that neural networks can perform 3D tasks such as Novel View Synthesis (NVS) without explicit 3D reconstruction. Even so, we argue that strong 3D inductive biases are still helpful in the design of such networks. We show this point by introducing LagerNVS, an encoder-decoder neural network for NVS that builds on `3D-aware' latent features. The encoder is initialized from a 3D reconstruction network pre-trained using explicit 3D supervision. This is paired with a lightweight decoder, and trained end-to-end with photometric losses. LagerNVS achieves state-of-the-art deterministic feed-forward Novel View Synthesis (including 31.4 PSNR on Re10k), with and without known cameras, renders in real time, generalizes to in-the-wild data, and can be paired with a diffusion decoder for generative extrapolation.