LLM 3D ancorato con Token Referenziali

Grounded 3D-LLM with Referent Tokens

May 16, 2024

Autori: Yilun Chen, Shuai Yang, Haifeng Huang, Tai Wang, Ruiyuan Lyu, Runsen Xu, Dahua Lin, Jiangmiao Pang

cs.AI

Abstract

Gli studi precedenti sulla comprensione delle scene 3D hanno principalmente sviluppato modelli specializzati per compiti specifici o richiesto una messa a punto specifica per ciascun compito. In questo studio, proponiamo Grounded 3D-LLM, che esplora il potenziale dei grandi modelli multimodali 3D (3D LMMs) per consolidare vari compiti di visione 3D all'interno di un framework generativo unificato. Il modello utilizza token di riferimento della scena come frasi nominali speciali per riferirsi alle scene 3D, consentendo la gestione di sequenze che intervallano dati 3D e testuali. Offre un approccio naturale per tradurre i compiti di visione 3D in formati linguistici utilizzando modelli di istruzione specifici per ciascun compito. Per facilitare l'uso dei token di riferimento nella successiva modellazione linguistica, abbiamo curato ampi dataset linguistici ancorati che offrono una corrispondenza più precisa tra scena e testo a livello di frase, sfruttando etichette di oggetti esistenti. Successivamente, abbiamo introdotto il Contrastive LAnguage-Scene Pre-training (CLASP) per sfruttare efficacemente questi dati, integrando così la visione 3D con i modelli linguistici. La nostra valutazione completa copre compiti aperti come la descrizione densa e il question-answering 3D, insieme a compiti chiusi come il rilevamento di oggetti e l'ancoraggio linguistico. Gli esperimenti su più benchmark 3D rivelano le prestazioni leader e l'ampia applicabilità di Grounded 3D-LLM. Codice e dataset saranno rilasciati sulla pagina del progetto: https://groundedscenellm.github.io/grounded_3d-llm.github.io.

English

Prior studies on 3D scene understanding have primarily developed specialized models for specific tasks or required task-specific fine-tuning. In this study, we propose Grounded 3D-LLM, which explores the potential of 3D large multi-modal models (3D LMMs) to consolidate various 3D vision tasks within a unified generative framework. The model uses scene referent tokens as special noun phrases to reference 3D scenes, enabling the handling of sequences that interleave 3D and textual data. It offers a natural approach for translating 3D vision tasks into language formats using task-specific instruction templates. To facilitate the use of referent tokens in subsequent language modeling, we have curated large-scale grounded language datasets that offer finer scene-text correspondence at the phrase level by bootstrapping existing object labels. Subsequently, we introduced Contrastive LAnguage-Scene Pre-training (CLASP) to effectively leverage this data, thereby integrating 3D vision with language models. Our comprehensive evaluation covers open-ended tasks like dense captioning and 3D QA, alongside close-ended tasks such as object detection and language grounding. Experiments across multiple 3D benchmarks reveal the leading performance and the broad applicability of Grounded 3D-LLM. Code and datasets will be released on the project page: https://groundedscenellm.github.io/grounded_3d-llm.github.io.