Lightplane: Zeer schaalbare componenten voor neurale 3D-velden
Lightplane: Highly-Scalable Components for Neural 3D Fields
April 30, 2024
Auteurs: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny
cs.AI
Samenvatting
Hedendaags 3D-onderzoek, met name op het gebied van reconstructie en generatie, is sterk afhankelijk van 2D-beelden als invoer of voor supervisie. De huidige ontwerpen voor deze 2D-3D-mapping zijn echter geheugenintensief, wat een aanzienlijk knelpunt vormt voor bestaande methoden en nieuwe toepassingen belemmert. Als reactie hierop stellen we een tweetal zeer schaalbare componenten voor 3D-neurale velden voor: Lightplane Render en Splatter, die het geheugengebruik bij 2D-3D-mapping aanzienlijk verminderen. Deze innovaties maken het mogelijk om aanzienlijk meer en hogeresolutiebeelden te verwerken met minimale geheugen- en rekenkosten. We demonstreren hun nut in diverse toepassingen, van het verbeteren van optimalisatie van individuele scènes met beeldniveauverliezen tot het realiseren van een veelzijdige pijplijn voor het drastisch opschalen van 3D-reconstructie en -generatie. Code: https://github.com/facebookresearch/lightplane.
English
Contemporary 3D research, particularly in reconstruction and generation,
heavily relies on 2D images for inputs or supervision. However, current designs
for these 2D-3D mapping are memory-intensive, posing a significant bottleneck
for existing methods and hindering new applications. In response, we propose a
pair of highly scalable components for 3D neural fields: Lightplane Render and
Splatter, which significantly reduce memory usage in 2D-3D mapping. These
innovations enable the processing of vastly more and higher resolution images
with small memory and computational costs. We demonstrate their utility in
various applications, from benefiting single-scene optimization with
image-level losses to realizing a versatile pipeline for dramatically scaling
3D reconstruction and generation. Code:
https://github.com/facebookresearch/lightplane.