LLaNA: Großer Sprach- und NeRF-Assistent

LLaNA: Large Language and NeRF Assistant

June 17, 2024

Autoren: Andrea Amaduzzi, Pierluigi Zama Ramirez, Giuseppe Lisanti, Samuele Salti, Luigi Di Stefano

cs.AI

Zusammenfassung

Multimodale Große Sprachmodelle (MLLMs) haben ein ausgezeichnetes Verständnis von Bildern und 3D-Daten gezeigt. Beide Modalitäten haben jedoch Schwächen darin, das Erscheinungsbild und die Geometrie von Objekten ganzheitlich zu erfassen. In der Zwischenzeit sind Neuronale Strahlungsfelder (NeRFs), die Informationen in den Gewichten eines einfachen Mehrschicht-Perzeptrons (MLP) codieren, als eine zunehmend verbreitete Modalität aufgetaucht, die gleichzeitig die Geometrie und fotorealistische Erscheinung von Objekten codiert. Dieser Artikel untersucht die Machbarkeit und Wirksamkeit der Integration von NeRF in MLLM. Wir haben LLaNA erstellt, den ersten allgemeinen NeRF-Sprachassistenten, der in der Lage ist, neue Aufgaben wie NeRF-Beschriftung und Frage-Antwort zu erfüllen. Bemerkenswert ist, dass unsere Methode direkt die Gewichte des MLP des NeRF verarbeitet, um Informationen über die dargestellten Objekte zu extrahieren, ohne Bilder rendern oder 3D-Datenstrukturen materialisieren zu müssen. Darüber hinaus haben wir ein Datenset von NeRFs mit Textannotationen für verschiedene NeRF-Sprachaufgaben ohne menschliches Eingreifen erstellt. Basierend auf diesem Datenset haben wir einen Benchmark entwickelt, um die NeRF-Verständnisfähigkeit unserer Methode zu bewerten. Die Ergebnisse zeigen, dass die Verarbeitung der NeRF-Gewichte gegenüber dem Extrahieren von 2D- oder 3D-Repräsentationen aus NeRFs vorteilhaft ist.

English

Multimodal Large Language Models (MLLMs) have demonstrated an excellent understanding of images and 3D data. However, both modalities have shortcomings in holistically capturing the appearance and geometry of objects. Meanwhile, Neural Radiance Fields (NeRFs), which encode information within the weights of a simple Multi-Layer Perceptron (MLP), have emerged as an increasingly widespread modality that simultaneously encodes the geometry and photorealistic appearance of objects. This paper investigates the feasibility and effectiveness of ingesting NeRF into MLLM. We create LLaNA, the first general-purpose NeRF-language assistant capable of performing new tasks such as NeRF captioning and Q\&A. Notably, our method directly processes the weights of the NeRF's MLP to extract information about the represented objects without the need to render images or materialize 3D data structures. Moreover, we build a dataset of NeRFs with text annotations for various NeRF-language tasks with no human intervention. Based on this dataset, we develop a benchmark to evaluate the NeRF understanding capability of our method. Results show that processing NeRF weights performs favourably against extracting 2D or 3D representations from NeRFs.