Lightplane: 신경망 3D 필드를 위한 고도로 확장 가능한 컴포넌트

Lightplane: Highly-Scalable Components for Neural 3D Fields

April 30, 2024

저자: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny

cs.AI

초록

현대 3D 연구, 특히 재구성 및 생성 분야에서는 입력 또는 감독을 위해 2D 이미지에 크게 의존하고 있습니다. 그러나 현재의 2D-3D 매핑 설계는 메모리 집약적이어서 기존 방법에 상당한 병목 현상을 일으키고 새로운 응용 분야를 방해하고 있습니다. 이에 대응하여, 우리는 3D 신경 필드를 위한 고도로 확장 가능한 두 가지 구성 요소인 Lightplane Render와 Splatter를 제안합니다. 이들은 2D-3D 매핑에서 메모리 사용량을 크게 줄입니다. 이러한 혁신은 적은 메모리와 계산 비용으로 훨씬 더 많고 고해상도의 이미지를 처리할 수 있게 합니다. 우리는 단일 장면 최적화에서 이미지 수준 손실을 활용하는 것부터 3D 재구성 및 생성을 극적으로 확장할 수 있는 다용도 파이프라인을 실현하는 다양한 응용 분야에서 그 유용성을 입증합니다. 코드: https://github.com/facebookresearch/lightplane.

English

Contemporary 3D research, particularly in reconstruction and generation, heavily relies on 2D images for inputs or supervision. However, current designs for these 2D-3D mapping are memory-intensive, posing a significant bottleneck for existing methods and hindering new applications. In response, we propose a pair of highly scalable components for 3D neural fields: Lightplane Render and Splatter, which significantly reduce memory usage in 2D-3D mapping. These innovations enable the processing of vastly more and higher resolution images with small memory and computational costs. We demonstrate their utility in various applications, from benefiting single-scene optimization with image-level losses to realizing a versatile pipeline for dramatically scaling 3D reconstruction and generation. Code: https://github.com/facebookresearch/lightplane.