Lightplane: Componenti Altamente Scalabili per Campi Neurali 3D
Lightplane: Highly-Scalable Components for Neural 3D Fields
April 30, 2024
Autori: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny
cs.AI
Abstract
La ricerca contemporanea nel campo 3D, in particolare nella ricostruzione e generazione, si basa fortemente su immagini 2D come input o supervisione. Tuttavia, le attuali progettazioni per queste mappature 2D-3D sono ad alto consumo di memoria, rappresentando un significativo collo di bottiglia per i metodi esistenti e ostacolando nuove applicazioni. In risposta, proponiamo una coppia di componenti altamente scalabili per i campi neurali 3D: Lightplane Render e Splatter, che riducono significativamente l'uso della memoria nella mappatura 2D-3D. Queste innovazioni consentono l'elaborazione di un numero molto maggiore di immagini ad alta risoluzione con costi ridotti di memoria e computazione. Dimostriamo la loro utilità in varie applicazioni, dal miglioramento dell'ottimizzazione di scene singole con perdite a livello di immagine alla realizzazione di una pipeline versatile per scalare drasticamente la ricostruzione e la generazione 3D. Codice: https://github.com/facebookresearch/lightplane.
English
Contemporary 3D research, particularly in reconstruction and generation,
heavily relies on 2D images for inputs or supervision. However, current designs
for these 2D-3D mapping are memory-intensive, posing a significant bottleneck
for existing methods and hindering new applications. In response, we propose a
pair of highly scalable components for 3D neural fields: Lightplane Render and
Splatter, which significantly reduce memory usage in 2D-3D mapping. These
innovations enable the processing of vastly more and higher resolution images
with small memory and computational costs. We demonstrate their utility in
various applications, from benefiting single-scene optimization with
image-level losses to realizing a versatile pipeline for dramatically scaling
3D reconstruction and generation. Code:
https://github.com/facebookresearch/lightplane.