LagerNVS: Скрытая геометрия для полностью нейронного синтеза новых видов в реальном времени
LagerNVS: Latent Geometry for Fully Neural Real-time Novel View Synthesis
March 20, 2026
Авторы: Stanislaw Szymanowicz, Minghao Chen, Jianyuan Wang, Christian Rupprecht, Andrea Vedaldi
cs.AI
Аннотация
Недавние исследования показали, что нейронные сети способны выполнять 3D-задачи, такие как синтез новых видов (NVS), без явного 3D-реконструирования. Тем не менее, мы утверждаем, что сильные 3D-индуктивные смещения остаются полезными при проектировании таких сетей. Мы демонстрируем это, представляя LagerNVS — кодер-декодерную нейронную сеть для NVS, основанную на «3D-осознанных» латентных признаках. Кодер инициализируется из сети 3D-реконструкции, предварительно обученной с использованием явного 3D-контроля. Он сочетается с облегченным декодером и обучается end-to-end с фотометрическими потерями. LagerNVS достигает передовых результатов в детерминистическом синтезе новых видов при прямом проходе (включая 31.4 PSNR на Re10k), как с известными, так и с неизвестными камерами, выполняет рендеринг в реальном времени, обобщается на данные из реального мира и может сочетаться с диффузионным декодером для генеративной экстраполяции.
English
Recent work has shown that neural networks can perform 3D tasks such as Novel View Synthesis (NVS) without explicit 3D reconstruction. Even so, we argue that strong 3D inductive biases are still helpful in the design of such networks. We show this point by introducing LagerNVS, an encoder-decoder neural network for NVS that builds on `3D-aware' latent features. The encoder is initialized from a 3D reconstruction network pre-trained using explicit 3D supervision. This is paired with a lightweight decoder, and trained end-to-end with photometric losses. LagerNVS achieves state-of-the-art deterministic feed-forward Novel View Synthesis (including 31.4 PSNR on Re10k), with and without known cameras, renders in real time, generalizes to in-the-wild data, and can be paired with a diffusion decoder for generative extrapolation.