Leichtflugzeug: Hochskalierbare Komponenten für neuronale 3D-Felder

Lightplane: Highly-Scalable Components for Neural 3D Fields

April 30, 2024

Autoren: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny

cs.AI

Zusammenfassung

Die zeitgenössische 3D-Forschung, insbesondere in der Rekonstruktion und Generierung, stützt sich stark auf 2D-Bilder für Eingaben oder Überwachung. Die aktuellen Entwürfe für diese 2D-3D-Zuordnung sind jedoch speicherintensiv, was einen erheblichen Engpass für bestehende Methoden darstellt und die Entwicklung neuer Anwendungen behindert. Als Antwort schlagen wir ein Paar hoch skalierbarer Komponenten für 3D-Neuronenfelder vor: Lightplane Render und Splatter, die den Speicherverbrauch bei der 2D-3D-Zuordnung erheblich reduzieren. Diese Innovationen ermöglichen die Verarbeitung von deutlich mehr und höher aufgelösten Bildern mit geringen Speicher- und Rechenkosten. Wir zeigen ihre Nützlichkeit in verschiedenen Anwendungen, von der Verbesserung der Optimierung einzelner Szenen mit verlustbehafteten Bildern bis zur Realisierung einer vielseitigen Pipeline zur drastischen Skalierung von 3D-Rekonstruktion und Generierung. Code: https://github.com/facebookresearch/lightplane.

English

Contemporary 3D research, particularly in reconstruction and generation, heavily relies on 2D images for inputs or supervision. However, current designs for these 2D-3D mapping are memory-intensive, posing a significant bottleneck for existing methods and hindering new applications. In response, we propose a pair of highly scalable components for 3D neural fields: Lightplane Render and Splatter, which significantly reduce memory usage in 2D-3D mapping. These innovations enable the processing of vastly more and higher resolution images with small memory and computational costs. We demonstrate their utility in various applications, from benefiting single-scene optimization with image-level losses to realizing a versatile pipeline for dramatically scaling 3D reconstruction and generation. Code: https://github.com/facebookresearch/lightplane.