LLaNA: Большой языковой и ассистент NeRF

LLaNA: Large Language and NeRF Assistant

June 17, 2024

Авторы: Andrea Amaduzzi, Pierluigi Zama Ramirez, Giuseppe Lisanti, Samuele Salti, Luigi Di Stefano

cs.AI

Аннотация

Многомодальные модели больших языков (MLLM) продемонстрировали отличное понимание изображений и 3D-данных. Однако обе модальности имеют недостатки в полном улавливании внешнего вида и геометрии объектов. Тем временем нейронные поля радиантности (NeRF), которые кодируют информацию в весах простой многослойной перцептронной сети (MLP), стали все более распространенной модальностью, одновременно кодирующей геометрию и фотореалистичный внешний вид объектов. В данной статье исследуется возможность и эффективность внедрения NeRF в MLLM. Мы создаем LLaNA, первого универсального языкового помощника NeRF, способного выполнять новые задачи, такие как подписывание NeRF и вопросы и ответы. Заметно, что наш метод напрямую обрабатывает веса MLP NeRF для извлечения информации о представленных объектах без необходимости визуализации изображений или материализации 3D-структур данных. Более того, мы создаем набор данных NeRF с текстовыми аннотациями для различных задач языка NeRF без участия человека. На основе этого набора данных мы разрабатываем стандартную методику для оценки способности понимания NeRF нашим методом. Результаты показывают, что обработка весов NeRF проявляет себя благоприятно по сравнению с извлечением 2D или 3D представлений из NeRF.

English

Multimodal Large Language Models (MLLMs) have demonstrated an excellent understanding of images and 3D data. However, both modalities have shortcomings in holistically capturing the appearance and geometry of objects. Meanwhile, Neural Radiance Fields (NeRFs), which encode information within the weights of a simple Multi-Layer Perceptron (MLP), have emerged as an increasingly widespread modality that simultaneously encodes the geometry and photorealistic appearance of objects. This paper investigates the feasibility and effectiveness of ingesting NeRF into MLLM. We create LLaNA, the first general-purpose NeRF-language assistant capable of performing new tasks such as NeRF captioning and Q\&A. Notably, our method directly processes the weights of the NeRF's MLP to extract information about the represented objects without the need to render images or materialize 3D data structures. Moreover, we build a dataset of NeRFs with text annotations for various NeRF-language tasks with no human intervention. Based on this dataset, we develop a benchmark to evaluate the NeRF understanding capability of our method. Results show that processing NeRF weights performs favourably against extracting 2D or 3D representations from NeRFs.