LLaNA: Assistente de Linguagem Grande e NeRF

LLaNA: Large Language and NeRF Assistant

June 17, 2024

Autores: Andrea Amaduzzi, Pierluigi Zama Ramirez, Giuseppe Lisanti, Samuele Salti, Luigi Di Stefano

cs.AI

Resumo

Modelos de Linguagem Multimodais de Grande Escala (MLLMs) demonstraram uma excelente compreensão de imagens e dados 3D. No entanto, ambas as modalidades têm limitações na captura holística da aparência e da geometria dos objetos. Enquanto isso, Campos de Radiação Neural (NeRFs), que codificam informações nos pesos de uma Rede Neural Multicamada Simples (MLP), surgiram como uma modalidade cada vez mais difundida que codifica simultaneamente a geometria e a aparência fotorrealista dos objetos. Este artigo investiga a viabilidade e a eficácia de integrar NeRF em MLLM. Criamos o LLaNA, o primeiro assistente de linguagem NeRF de propósito geral capaz de realizar novas tarefas, como legendagem de NeRF e perguntas e respostas (Q&A). Notavelmente, nosso método processa diretamente os pesos da MLP do NeRF para extrair informações sobre os objetos representados, sem a necessidade de renderizar imagens ou materializar estruturas de dados 3D. Além disso, construímos um conjunto de dados de NeRFs com anotações textuais para várias tarefas de linguagem NeRF sem intervenção humana. Com base nesse conjunto de dados, desenvolvemos um benchmark para avaliar a capacidade de compreensão de NeRF do nosso método. Os resultados mostram que o processamento dos pesos do NeRF apresenta desempenho superior em comparação com a extração de representações 2D ou 3D a partir de NeRFs.

English

Multimodal Large Language Models (MLLMs) have demonstrated an excellent understanding of images and 3D data. However, both modalities have shortcomings in holistically capturing the appearance and geometry of objects. Meanwhile, Neural Radiance Fields (NeRFs), which encode information within the weights of a simple Multi-Layer Perceptron (MLP), have emerged as an increasingly widespread modality that simultaneously encodes the geometry and photorealistic appearance of objects. This paper investigates the feasibility and effectiveness of ingesting NeRF into MLLM. We create LLaNA, the first general-purpose NeRF-language assistant capable of performing new tasks such as NeRF captioning and Q\&A. Notably, our method directly processes the weights of the NeRF's MLP to extract information about the represented objects without the need to render images or materialize 3D data structures. Moreover, we build a dataset of NeRFs with text annotations for various NeRF-language tasks with no human intervention. Based on this dataset, we develop a benchmark to evaluate the NeRF understanding capability of our method. Results show that processing NeRF weights performs favourably against extracting 2D or 3D representations from NeRFs.