Lightplane: Componentes Altamente Escalables para Campos Neuronales 3D

Lightplane: Highly-Scalable Components for Neural 3D Fields

April 30, 2024

Autores: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny

cs.AI

Resumen

La investigación contemporánea en 3D, particularmente en reconstrucción y generación, depende en gran medida de imágenes 2D como entradas o supervisión. Sin embargo, los diseños actuales para estos mapeos 2D-3D son intensivos en memoria, lo que representa un cuello de botella significativo para los métodos existentes y obstaculiza nuevas aplicaciones. En respuesta, proponemos un par de componentes altamente escalables para campos neuronales 3D: Lightplane Render y Splatter, que reducen considerablemente el uso de memoria en el mapeo 2D-3D. Estas innovaciones permiten procesar muchas más imágenes y con mayor resolución, con un bajo costo de memoria y computación. Demostramos su utilidad en diversas aplicaciones, desde optimizar escenas individuales con pérdidas a nivel de imagen hasta implementar una pipeline versátil para escalar drásticamente la reconstrucción y generación 3D. Código: https://github.com/facebookresearch/lightplane.

English

Contemporary 3D research, particularly in reconstruction and generation, heavily relies on 2D images for inputs or supervision. However, current designs for these 2D-3D mapping are memory-intensive, posing a significant bottleneck for existing methods and hindering new applications. In response, we propose a pair of highly scalable components for 3D neural fields: Lightplane Render and Splatter, which significantly reduce memory usage in 2D-3D mapping. These innovations enable the processing of vastly more and higher resolution images with small memory and computational costs. We demonstrate their utility in various applications, from benefiting single-scene optimization with image-level losses to realizing a versatile pipeline for dramatically scaling 3D reconstruction and generation. Code: https://github.com/facebookresearch/lightplane.