LLaNA: Asistente de Lenguaje Grande y NeRF

LLaNA: Large Language and NeRF Assistant

June 17, 2024

Autores: Andrea Amaduzzi, Pierluigi Zama Ramirez, Giuseppe Lisanti, Samuele Salti, Luigi Di Stefano

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) han demostrado una excelente comprensión de imágenes y datos 3D. Sin embargo, ambas modalidades presentan limitaciones para capturar de manera holística la apariencia y la geometría de los objetos. Mientras tanto, los Campos de Radiancia Neural (NeRFs, por sus siglas en inglés), que codifican información en los pesos de una Red Perceptrón Multicapa (MLP, por sus siglas en inglés) simple, han surgido como una modalidad cada vez más extendida que codifica simultáneamente la geometría y la apariencia fotorrealista de los objetos. Este artículo investiga la viabilidad y efectividad de integrar NeRF en MLLM. Creamos LLaNA, el primer asistente de propósito general que combina NeRF y lenguaje, capaz de realizar nuevas tareas como la generación de descripciones (captioning) y preguntas y respuestas (Q&A) sobre NeRFs. Destacablemente, nuestro método procesa directamente los pesos de la MLP del NeRF para extraer información sobre los objetos representados, sin necesidad de renderizar imágenes o materializar estructuras de datos 3D. Además, construimos un conjunto de datos de NeRFs con anotaciones de texto para diversas tareas de lenguaje-NeRF sin intervención humana. Basándonos en este conjunto de datos, desarrollamos un punto de referencia (benchmark) para evaluar la capacidad de comprensión de NeRF de nuestro método. Los resultados muestran que procesar los pesos de NeRF supera favorablemente a la extracción de representaciones 2D o 3D a partir de NeRFs.

English

Multimodal Large Language Models (MLLMs) have demonstrated an excellent understanding of images and 3D data. However, both modalities have shortcomings in holistically capturing the appearance and geometry of objects. Meanwhile, Neural Radiance Fields (NeRFs), which encode information within the weights of a simple Multi-Layer Perceptron (MLP), have emerged as an increasingly widespread modality that simultaneously encodes the geometry and photorealistic appearance of objects. This paper investigates the feasibility and effectiveness of ingesting NeRF into MLLM. We create LLaNA, the first general-purpose NeRF-language assistant capable of performing new tasks such as NeRF captioning and Q\&A. Notably, our method directly processes the weights of the NeRF's MLP to extract information about the represented objects without the need to render images or materialize 3D data structures. Moreover, we build a dataset of NeRFs with text annotations for various NeRF-language tasks with no human intervention. Based on this dataset, we develop a benchmark to evaluate the NeRF understanding capability of our method. Results show that processing NeRF weights performs favourably against extracting 2D or 3D representations from NeRFs.