Совмещение текста, изображений и 3D-структуры по токенам

Aligning Text, Images, and 3D Structure Token-by-Token

June 9, 2025

Авторы: Aadarsh Sahoo, Vansh Tibrewal, Georgia Gkioxari

cs.AI

Аннотация

Создание машин, способных воспринимать мир в трехмерном пространстве, является ключевым для помощи дизайнерам, которые создают и редактируют 3D-среды, а также для роботов, которые перемещаются и взаимодействуют в трехмерном пространстве. Вдохновленные достижениями в области моделирования языка и изображений, мы исследуем потенциал авторегрессивных моделей для новой модальности: структурированных 3D-сцен. С этой целью мы предлагаем унифицированную LLM-структуру, которая объединяет язык, изображения и 3D-сцены, и предоставляем подробное «руководство», описывающее ключевые проектные решения для достижения оптимального обучения и производительности, включая вопросы, связанные с представлением данных, специфическими целями для каждой модальности и другие аспекты. Мы оцениваем производительность в четырех основных 3D-задачах — рендеринг, распознавание, выполнение инструкций и ответы на вопросы — на четырех наборах данных, как синтетических, так и реальных. Мы расширяем наш подход для реконструкции сложных форм 3D-объектов, обогащая нашу 3D-модальность квантованными кодировками форм, и демонстрируем эффективность нашей модели в задачах распознавания реальных 3D-объектов. Веб-страница проекта: https://glab-caltech.github.io/kyvo/

English

Creating machines capable of understanding the world in 3D is essential in assisting designers that build and edit 3D environments and robots navigating and interacting within a three-dimensional space. Inspired by advances in language and image modeling, we investigate the potential of autoregressive models for a new modality: structured 3D scenes. To this end, we propose a unified LLM framework that aligns language, images, and 3D scenes and provide a detailed ''cookbook'' outlining critical design choices for achieving optimal training and performance addressing key questions related to data representation, modality-specific objectives, and more. We evaluate performance across four core 3D tasks -- rendering, recognition, instruction-following, and question-answering -- and four 3D datasets, synthetic and real-world. We extend our approach to reconstruct complex 3D object shapes by enriching our 3D modality with quantized shape encodings, and show our model's effectiveness on real-world 3D object recognition tasks. Project webpage: https://glab-caltech.github.io/kyvo/