LLaNA : Assistant de Langage Étendu et de NeRF

LLaNA: Large Language and NeRF Assistant

June 17, 2024

Auteurs: Andrea Amaduzzi, Pierluigi Zama Ramirez, Giuseppe Lisanti, Samuele Salti, Luigi Di Stefano

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) ont démontré une excellente compréhension des images et des données 3D. Cependant, ces deux modalités présentent des lacunes dans la capture holistique de l'apparence et de la géométrie des objets. Parallèlement, les champs de radiance neuronaux (NeRFs), qui encodent des informations dans les poids d'un simple perceptron multicouche (MLP), sont devenus une modalité de plus en plus répandue, encodant simultanément la géométrie et l'apparence photoréaliste des objets. Cet article explore la faisabilité et l'efficacité de l'intégration des NeRFs dans les MLLMs. Nous créons LLaNA, le premier assistant généraliste NeRF-langage capable d'effectuer de nouvelles tâches telles que la description de NeRFs et le Q&R. Notamment, notre méthode traite directement les poids du MLP du NeRF pour extraire des informations sur les objets représentés, sans avoir besoin de rendre des images ou de matérialiser des structures de données 3D. De plus, nous construisons un ensemble de données de NeRFs annotés de texte pour diverses tâches NeRF-langage sans intervention humaine. Sur la base de cet ensemble de données, nous développons un benchmark pour évaluer la capacité de compréhension des NeRFs de notre méthode. Les résultats montrent que le traitement des poids des NeRFs est plus performant que l'extraction de représentations 2D ou 3D à partir des NeRFs.

English

Multimodal Large Language Models (MLLMs) have demonstrated an excellent understanding of images and 3D data. However, both modalities have shortcomings in holistically capturing the appearance and geometry of objects. Meanwhile, Neural Radiance Fields (NeRFs), which encode information within the weights of a simple Multi-Layer Perceptron (MLP), have emerged as an increasingly widespread modality that simultaneously encodes the geometry and photorealistic appearance of objects. This paper investigates the feasibility and effectiveness of ingesting NeRF into MLLM. We create LLaNA, the first general-purpose NeRF-language assistant capable of performing new tasks such as NeRF captioning and Q\&A. Notably, our method directly processes the weights of the NeRF's MLP to extract information about the represented objects without the need to render images or materialize 3D data structures. Moreover, we build a dataset of NeRFs with text annotations for various NeRF-language tasks with no human intervention. Based on this dataset, we develop a benchmark to evaluate the NeRF understanding capability of our method. Results show that processing NeRF weights performs favourably against extracting 2D or 3D representations from NeRFs.