Лайтплейн: высокомасштабируемые компоненты для нейронных трехмерных полей

Lightplane: Highly-Scalable Components for Neural 3D Fields

April 30, 2024

Авторы: Ang Cao, Justin Johnson, Andrea Vedaldi, David Novotny

cs.AI

Аннотация

Современные исследования в области 3D, особенно в реконструкции и генерации, в значительной степени зависят от 2D изображений в качестве входных данных или наблюдения. Однако текущие конструкции для этого 2D-3D отображения требуют больших объемов памяти, что становится значительным узким местом для существующих методов и затрудняет появление новых приложений. В ответ на это мы предлагаем пару высокомасштабируемых компонентов для 3D нейронных полей: Lightplane Render и Splatter, которые значительно снижают использование памяти при 2D-3D отображении. Эти инновации позволяют обрабатывать намного больше и более высокого разрешения изображений с небольшими затратами памяти и вычислительными ресурсами. Мы демонстрируем их полезность в различных приложениях, начиная от оптимизации одиночных сцен с потерями на уровне изображения до реализации универсального конвейера для значительного масштабирования 3D реконструкции и генерации. Код: https://github.com/facebookresearch/lightplane.

English

Contemporary 3D research, particularly in reconstruction and generation, heavily relies on 2D images for inputs or supervision. However, current designs for these 2D-3D mapping are memory-intensive, posing a significant bottleneck for existing methods and hindering new applications. In response, we propose a pair of highly scalable components for 3D neural fields: Lightplane Render and Splatter, which significantly reduce memory usage in 2D-3D mapping. These innovations enable the processing of vastly more and higher resolution images with small memory and computational costs. We demonstrate their utility in various applications, from benefiting single-scene optimization with image-level losses to realizing a versatile pipeline for dramatically scaling 3D reconstruction and generation. Code: https://github.com/facebookresearch/lightplane.