SAR3D: Generación y comprensión autoregresiva de objetos 3D a través de VQVAE 3D multinivel

SAR3D: Autoregressive 3D Object Generation and Understanding via Multi-scale 3D VQVAE

November 25, 2024

Autores: Yongwei Chen, Yushi Lan, Shangchen Zhou, Tengfei Wang, XIngang Pan

cs.AI

Resumen

Los modelos autoregresivos han demostrado un éxito notable en diversos campos, desde grandes modelos de lenguaje (LLMs) hasta grandes modelos multimodales (LMMs) y generación de contenido 2D, acercándose cada vez más a la inteligencia artificial general (AGI). A pesar de estos avances, la aplicación de enfoques autoregresivos a la generación y comprensión de objetos 3D sigue siendo en gran medida inexplorada. Este artículo presenta Scale AutoRegressive 3D (SAR3D), un marco novedoso que aprovecha un autoencoder variacional vector cuantificado en 3D a múltiples escalas (VQVAE) para tokenizar objetos 3D para una generación autoregresiva eficiente y una comprensión detallada. Al predecir la siguiente escala en una representación latente a múltiples escalas en lugar del siguiente token individual, SAR3D reduce significativamente el tiempo de generación, logrando una generación rápida de objetos 3D en tan solo 0.82 segundos en una GPU A6000. Además, dado que los tokens están enriquecidos con información jerárquica 3D, ajustamos finamente un LLM preentrenado en ellos, lo que permite la comprensión multimodal del contenido 3D. Nuestros experimentos muestran que SAR3D supera a los métodos actuales de generación 3D tanto en velocidad como en calidad, y permite a los LLM interpretar y describir modelos 3D de manera exhaustiva.

English

Autoregressive models have demonstrated remarkable success across various fields, from large language models (LLMs) to large multimodal models (LMMs) and 2D content generation, moving closer to artificial general intelligence (AGI). Despite these advances, applying autoregressive approaches to 3D object generation and understanding remains largely unexplored. This paper introduces Scale AutoRegressive 3D (SAR3D), a novel framework that leverages a multi-scale 3D vector-quantized variational autoencoder (VQVAE) to tokenize 3D objects for efficient autoregressive generation and detailed understanding. By predicting the next scale in a multi-scale latent representation instead of the next single token, SAR3D reduces generation time significantly, achieving fast 3D object generation in just 0.82 seconds on an A6000 GPU. Additionally, given the tokens enriched with hierarchical 3D-aware information, we finetune a pretrained LLM on them, enabling multimodal comprehension of 3D content. Our experiments show that SAR3D surpasses current 3D generation methods in both speed and quality and allows LLMs to interpret and caption 3D models comprehensively.