Allineamento di Testo, Immagini e Strutture 3D Token per Token
Aligning Text, Images, and 3D Structure Token-by-Token
June 9, 2025
Autori: Aadarsh Sahoo, Vansh Tibrewal, Georgia Gkioxari
cs.AI
Abstract
Creare macchine in grado di comprendere il mondo in 3D è essenziale per assistere i progettisti che costruiscono e modificano ambienti tridimensionali e i robot che navigano e interagiscono in uno spazio tridimensionale. Ispirati dai progressi nella modellazione del linguaggio e delle immagini, esploriamo il potenziale dei modelli autoregressivi per una nuova modalità: scene 3D strutturate. A tal fine, proponiamo un framework LLM unificato che allinea linguaggio, immagini e scene 3D e forniamo un dettagliato "cookbook" che delinea le scelte progettuali critiche per ottenere un addestramento e una performance ottimali, affrontando domande chiave relative alla rappresentazione dei dati, agli obiettivi specifici per ogni modalità e altro ancora. Valutiamo le prestazioni su quattro compiti principali in 3D — rendering, riconoscimento, esecuzione di istruzioni e risposta a domande — e su quattro dataset 3D, sia sintetici che del mondo reale. Estendiamo il nostro approccio per ricostruire forme complesse di oggetti 3D arricchendo la nostra modalità 3D con codifiche di forma quantizzate e dimostriamo l'efficacia del nostro modello in compiti di riconoscimento di oggetti 3D del mondo reale. Pagina web del progetto: https://glab-caltech.github.io/kyvo/
English
Creating machines capable of understanding the world in 3D is essential in
assisting designers that build and edit 3D environments and robots navigating
and interacting within a three-dimensional space. Inspired by advances in
language and image modeling, we investigate the potential of autoregressive
models for a new modality: structured 3D scenes. To this end, we propose a
unified LLM framework that aligns language, images, and 3D scenes and provide a
detailed ''cookbook'' outlining critical design choices for achieving optimal
training and performance addressing key questions related to data
representation, modality-specific objectives, and more. We evaluate performance
across four core 3D tasks -- rendering, recognition, instruction-following, and
question-answering -- and four 3D datasets, synthetic and real-world. We extend
our approach to reconstruct complex 3D object shapes by enriching our 3D
modality with quantized shape encodings, and show our model's effectiveness on
real-world 3D object recognition tasks. Project webpage:
https://glab-caltech.github.io/kyvo/