Lightplane : Composants hautement évolutifs pour les champs neuronaux 3D
Lightplane: Highly-Scalable Components for Neural 3D Fields
April 30, 2024
papers.authors: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny
cs.AI
papers.abstract
La recherche contemporaine en 3D, en particulier dans les domaines de la reconstruction et de la génération, repose fortement sur des images 2D pour les entrées ou la supervision. Cependant, les conceptions actuelles pour ces mappages 2D-3D sont gourmandes en mémoire, constituant un goulot d'étranglement majeur pour les méthodes existantes et entravant de nouvelles applications. En réponse, nous proposons une paire de composants hautement évolutifs pour les champs neuronaux 3D : Lightplane Render et Splatter, qui réduisent considérablement l'utilisation de la mémoire dans le mappage 2D-3D. Ces innovations permettent de traiter un nombre bien plus important d'images à haute résolution avec des coûts mémoire et de calcul réduits. Nous démontrons leur utilité dans diverses applications, allant de l'optimisation de scènes uniques avec des pertes au niveau de l'image à la réalisation d'un pipeline polyvalent pour une mise à l'échelle spectaculaire de la reconstruction et de la génération 3D. Code : https://github.com/facebookresearch/lightplane.
English
Contemporary 3D research, particularly in reconstruction and generation,
heavily relies on 2D images for inputs or supervision. However, current designs
for these 2D-3D mapping are memory-intensive, posing a significant bottleneck
for existing methods and hindering new applications. In response, we propose a
pair of highly scalable components for 3D neural fields: Lightplane Render and
Splatter, which significantly reduce memory usage in 2D-3D mapping. These
innovations enable the processing of vastly more and higher resolution images
with small memory and computational costs. We demonstrate their utility in
various applications, from benefiting single-scene optimization with
image-level losses to realizing a versatile pipeline for dramatically scaling
3D reconstruction and generation. Code:
https://github.com/facebookresearch/lightplane.