LLaNA: Assistente per Modelli Linguistici di Grande Scala e NeRF

LLaNA: Large Language and NeRF Assistant

June 17, 2024

Autori: Andrea Amaduzzi, Pierluigi Zama Ramirez, Giuseppe Lisanti, Samuele Salti, Luigi Di Stefano

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno dimostrato un'eccellente comprensione delle immagini e dei dati 3D. Tuttavia, entrambe le modalità presentano limiti nel catturare in modo olistico l'aspetto e la geometria degli oggetti. Nel frattempo, i Campi di Radianza Neurale (NeRFs), che codificano le informazioni all'interno dei pesi di un semplice Perceptron Multistrato (MLP), sono emersi come una modalità sempre più diffusa che codifica simultaneamente la geometria e l'aspetto fotorealistico degli oggetti. Questo articolo indaga la fattibilità e l'efficacia dell'integrazione dei NeRF negli MLLM. Abbiamo creato LLaNA, il primo assistente linguistico generico basato su NeRF in grado di eseguire nuove attività come la descrizione di NeRF e il Q&A. È importante notare che il nostro metodo elabora direttamente i pesi dell'MLP del NeRF per estrarre informazioni sugli oggetti rappresentati, senza la necessità di renderizzare immagini o materializzare strutture di dati 3D. Inoltre, abbiamo costruito un dataset di NeRF con annotazioni testuali per varie attività linguistiche basate su NeRF, senza intervento umano. Sulla base di questo dataset, abbiamo sviluppato un benchmark per valutare la capacità di comprensione dei NeRF del nostro metodo. I risultati mostrano che l'elaborazione dei pesi dei NeRF si comporta favorevolmente rispetto all'estrazione di rappresentazioni 2D o 3D dai NeRF.

English

Multimodal Large Language Models (MLLMs) have demonstrated an excellent understanding of images and 3D data. However, both modalities have shortcomings in holistically capturing the appearance and geometry of objects. Meanwhile, Neural Radiance Fields (NeRFs), which encode information within the weights of a simple Multi-Layer Perceptron (MLP), have emerged as an increasingly widespread modality that simultaneously encodes the geometry and photorealistic appearance of objects. This paper investigates the feasibility and effectiveness of ingesting NeRF into MLLM. We create LLaNA, the first general-purpose NeRF-language assistant capable of performing new tasks such as NeRF captioning and Q\&A. Notably, our method directly processes the weights of the NeRF's MLP to extract information about the represented objects without the need to render images or materialize 3D data structures. Moreover, we build a dataset of NeRFs with text annotations for various NeRF-language tasks with no human intervention. Based on this dataset, we develop a benchmark to evaluate the NeRF understanding capability of our method. Results show that processing NeRF weights performs favourably against extracting 2D or 3D representations from NeRFs.