Lightplane：ニューラル3Dフィールドのための高度にスケーラブルなコンポーネント

Lightplane: Highly-Scalable Components for Neural 3D Fields

April 30, 2024

著者: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny

cs.AI

要旨

現代の3D研究、特に再構成と生成の分野では、入力や教師信号として2D画像に大きく依存しています。しかし、現在の2D-3Dマッピングの設計はメモリを大量に消費し、既存の手法にとって重大なボトルネックとなっており、新たな応用の妨げとなっています。これに対応して、我々は3Dニューラルフィールドのための高度にスケーラブルな2つのコンポーネント、Lightplane RenderとSplatterを提案します。これらの革新により、2D-3Dマッピングにおけるメモリ使用量を大幅に削減することが可能になります。これにより、少ないメモリと計算コストで、はるかに多くの高解像度画像を処理できるようになります。我々は、画像レベルの損失を用いた単一シーンの最適化から、3D再構成と生成を劇的にスケールアップする汎用パイプラインの実現まで、様々な応用における有用性を実証します。コード: https://github.com/facebookresearch/lightplane.

English

Contemporary 3D research, particularly in reconstruction and generation, heavily relies on 2D images for inputs or supervision. However, current designs for these 2D-3D mapping are memory-intensive, posing a significant bottleneck for existing methods and hindering new applications. In response, we propose a pair of highly scalable components for 3D neural fields: Lightplane Render and Splatter, which significantly reduce memory usage in 2D-3D mapping. These innovations enable the processing of vastly more and higher resolution images with small memory and computational costs. We demonstrate their utility in various applications, from benefiting single-scene optimization with image-level losses to realizing a versatile pipeline for dramatically scaling 3D reconstruction and generation. Code: https://github.com/facebookresearch/lightplane.