Alineación de Texto, Imágenes y Estructura 3D Token por Token

Aligning Text, Images, and 3D Structure Token-by-Token

June 9, 2025

Autores: Aadarsh Sahoo, Vansh Tibrewal, Georgia Gkioxari

cs.AI

Resumen

Crear máquinas capaces de comprender el mundo en 3D es fundamental para asistir a diseñadores que construyen y editan entornos tridimensionales, así como a robots que navegan e interactúan dentro de un espacio tridimensional. Inspirados por los avances en el modelado de lenguaje e imágenes, investigamos el potencial de los modelos autorregresivos para una nueva modalidad: escenas 3D estructuradas. Con este fin, proponemos un marco unificado de LLM que alinea lenguaje, imágenes y escenas 3D, y proporcionamos un "manual detallado" que describe las decisiones críticas de diseño para lograr un entrenamiento y rendimiento óptimos, abordando preguntas clave relacionadas con la representación de datos, objetivos específicos de modalidad y más. Evaluamos el rendimiento en cuatro tareas principales en 3D —renderizado, reconocimiento, seguimiento de instrucciones y respuesta a preguntas— y en cuatro conjuntos de datos 3D, tanto sintéticos como del mundo real. Extendemos nuestro enfoque para reconstruir formas complejas de objetos 3D enriqueciendo nuestra modalidad 3D con codificaciones cuantizadas de formas, y demostramos la efectividad de nuestro modelo en tareas de reconocimiento de objetos 3D del mundo real. Página del proyecto: https://glab-caltech.github.io/kyvo/

English

Creating machines capable of understanding the world in 3D is essential in assisting designers that build and edit 3D environments and robots navigating and interacting within a three-dimensional space. Inspired by advances in language and image modeling, we investigate the potential of autoregressive models for a new modality: structured 3D scenes. To this end, we propose a unified LLM framework that aligns language, images, and 3D scenes and provide a detailed ''cookbook'' outlining critical design choices for achieving optimal training and performance addressing key questions related to data representation, modality-specific objectives, and more. We evaluate performance across four core 3D tasks -- rendering, recognition, instruction-following, and question-answering -- and four 3D datasets, synthetic and real-world. We extend our approach to reconstruct complex 3D object shapes by enriching our 3D modality with quantized shape encodings, and show our model's effectiveness on real-world 3D object recognition tasks. Project webpage: https://glab-caltech.github.io/kyvo/