LLaNA: Grote Taalmodel en NeRF-assistent

LLaNA: Large Language and NeRF Assistant

June 17, 2024

Auteurs: Andrea Amaduzzi, Pierluigi Zama Ramirez, Giuseppe Lisanti, Samuele Salti, Luigi Di Stefano

cs.AI

Samenvatting

Multimodale Large Language Models (MLLMs) hebben een uitstekend begrip van afbeeldingen en 3D-data getoond. Beide modaliteiten hebben echter tekortkomingen in het holistisch vastleggen van het uiterlijk en de geometrie van objecten. Ondertussen zijn Neural Radiance Fields (NeRFs), die informatie coderen binnen de gewichten van een eenvoudig Multi-Layer Perceptron (MLP), naar voren gekomen als een steeds meer verspreide modaliteit die tegelijkertijd de geometrie en fotorealistische weergave van objecten vastlegt. Dit artikel onderzoekt de haalbaarheid en effectiviteit van het integreren van NeRF in MLLM. We creëren LLaNA, de eerste algemene NeRF-taalassistent die nieuwe taken kan uitvoeren, zoals NeRF-beschrijvingen en vraag-en-antwoord. Opmerkelijk is dat onze methode direct de gewichten van de NeRF's MLP verwerkt om informatie over de gerepresenteerde objecten te extraheren, zonder dat er afbeeldingen gerenderd of 3D-datastructuren gematerialiseerd hoeven te worden. Bovendien bouwen we een dataset van NeRFs met tekstannotaties voor diverse NeRF-taal taken, zonder menselijke tussenkomst. Op basis van deze dataset ontwikkelen we een benchmark om het NeRF-begrip van onze methode te evalueren. De resultaten tonen aan dat het verwerken van NeRF-gewichten gunstiger presteert dan het extraheren van 2D- of 3D-representaties uit NeRFs.

English

Multimodal Large Language Models (MLLMs) have demonstrated an excellent understanding of images and 3D data. However, both modalities have shortcomings in holistically capturing the appearance and geometry of objects. Meanwhile, Neural Radiance Fields (NeRFs), which encode information within the weights of a simple Multi-Layer Perceptron (MLP), have emerged as an increasingly widespread modality that simultaneously encodes the geometry and photorealistic appearance of objects. This paper investigates the feasibility and effectiveness of ingesting NeRF into MLLM. We create LLaNA, the first general-purpose NeRF-language assistant capable of performing new tasks such as NeRF captioning and Q\&A. Notably, our method directly processes the weights of the NeRF's MLP to extract information about the represented objects without the need to render images or materialize 3D data structures. Moreover, we build a dataset of NeRFs with text annotations for various NeRF-language tasks with no human intervention. Based on this dataset, we develop a benchmark to evaluate the NeRF understanding capability of our method. Results show that processing NeRF weights performs favourably against extracting 2D or 3D representations from NeRFs.