Alinhando Texto, Imagens e Estrutura 3D Token por Token
Aligning Text, Images, and 3D Structure Token-by-Token
June 9, 2025
Autores: Aadarsh Sahoo, Vansh Tibrewal, Georgia Gkioxari
cs.AI
Resumo
Criar máquinas capazes de compreender o mundo em 3D é essencial para auxiliar designers que constroem e editam ambientes tridimensionais, bem como robôs que navegam e interagem dentro de um espaço tridimensional. Inspirados pelos avanços na modelagem de linguagem e imagens, investigamos o potencial de modelos autoregressivos para uma nova modalidade: cenas 3D estruturadas. Para isso, propomos um framework unificado de LLM que alinha linguagem, imagens e cenas 3D, e fornecemos um "manual detalhado" que descreve escolhas críticas de design para alcançar treinamento e desempenho ideais, abordando questões-chave relacionadas à representação de dados, objetivos específicos de modalidade e mais. Avaliamos o desempenho em quatro tarefas principais de 3D — renderização, reconhecimento, seguimento de instruções e resposta a perguntas — e em quatro conjuntos de dados 3D, tanto sintéticos quanto do mundo real. Estendemos nossa abordagem para reconstruir formas complexas de objetos 3D, enriquecendo nossa modalidade 3D com codificações de forma quantizadas, e demonstramos a eficácia do nosso modelo em tarefas de reconhecimento de objetos 3D do mundo real. Página do projeto: https://glab-caltech.github.io/kyvo/
English
Creating machines capable of understanding the world in 3D is essential in
assisting designers that build and edit 3D environments and robots navigating
and interacting within a three-dimensional space. Inspired by advances in
language and image modeling, we investigate the potential of autoregressive
models for a new modality: structured 3D scenes. To this end, we propose a
unified LLM framework that aligns language, images, and 3D scenes and provide a
detailed ''cookbook'' outlining critical design choices for achieving optimal
training and performance addressing key questions related to data
representation, modality-specific objectives, and more. We evaluate performance
across four core 3D tasks -- rendering, recognition, instruction-following, and
question-answering -- and four 3D datasets, synthetic and real-world. We extend
our approach to reconstruct complex 3D object shapes by enriching our 3D
modality with quantized shape encodings, and show our model's effectiveness on
real-world 3D object recognition tasks. Project webpage:
https://glab-caltech.github.io/kyvo/