Lightplane: Componentes Altamente Escaláveis para Campos Neurais 3D
Lightplane: Highly-Scalable Components for Neural 3D Fields
April 30, 2024
Autores: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny
cs.AI
Resumo
A pesquisa contemporânea em 3D, particularmente em reconstrução e geração, depende fortemente de imagens 2D como entradas ou supervisão. No entanto, os projetos atuais para esses mapeamentos 2D-3D são intensivos em memória, representando um gargalo significativo para os métodos existentes e dificultando novas aplicações. Em resposta, propomos um par de componentes altamente escaláveis para campos neurais 3D: o Lightplane Render e o Splatter, que reduzem significativamente o uso de memória no mapeamento 2D-3D. Essas inovações permitem o processamento de um número muito maior de imagens e com resoluções mais altas, com custos reduzidos de memória e computação. Demonstramos sua utilidade em diversas aplicações, desde a otimização de cena única com perdas em nível de imagem até a realização de um pipeline versátil para escalar dramaticamente a reconstrução e geração 3D. Código: https://github.com/facebookresearch/lightplane.
English
Contemporary 3D research, particularly in reconstruction and generation,
heavily relies on 2D images for inputs or supervision. However, current designs
for these 2D-3D mapping are memory-intensive, posing a significant bottleneck
for existing methods and hindering new applications. In response, we propose a
pair of highly scalable components for 3D neural fields: Lightplane Render and
Splatter, which significantly reduce memory usage in 2D-3D mapping. These
innovations enable the processing of vastly more and higher resolution images
with small memory and computational costs. We demonstrate their utility in
various applications, from benefiting single-scene optimization with
image-level losses to realizing a versatile pipeline for dramatically scaling
3D reconstruction and generation. Code:
https://github.com/facebookresearch/lightplane.