SAR3D: Geração e Compreensão Autoregressiva de Objetos 3D por meio de VQVAE 3D Multiescala

SAR3D: Autoregressive 3D Object Generation and Understanding via Multi-scale 3D VQVAE

November 25, 2024

Autores: Yongwei Chen, Yushi Lan, Shangchen Zhou, Tengfei Wang, XIngang Pan

cs.AI

Resumo

Os modelos autoregressivos têm demonstrado um sucesso notável em diversos campos, desde grandes modelos de linguagem (LLMs) até grandes modelos multimodais (LMMs) e geração de conteúdo 2D, aproximando-se da inteligência artificial geral (AGI). Apesar desses avanços, a aplicação de abordagens autoregressivas para geração e compreensão de objetos 3D ainda é amplamente inexplorada. Este artigo apresenta o Scale AutoRegressive 3D (SAR3D), um novo framework que aproveita um autoencoder variacional vetorial quantizado em 3D em múltiplas escalas (VQVAE) para tokenizar objetos 3D para geração autoregressiva eficiente e compreensão detalhada. Ao prever a próxima escala em uma representação latente em múltiplas escalas em vez do próximo token único, o SAR3D reduz significativamente o tempo de geração, alcançando uma rápida geração de objetos 3D em apenas 0,82 segundos em uma GPU A6000. Além disso, dado os tokens enriquecidos com informações hierárquicas 3D, ajustamos finamente um LLM pré-treinado neles, possibilitando a compreensão multimodal de conteúdo 3D. Nossos experimentos mostram que o SAR3D supera os métodos atuais de geração 3D tanto em velocidade quanto em qualidade, e permite que os LLMs interpretem e legendem modelos 3D de forma abrangente.

English

Autoregressive models have demonstrated remarkable success across various fields, from large language models (LLMs) to large multimodal models (LMMs) and 2D content generation, moving closer to artificial general intelligence (AGI). Despite these advances, applying autoregressive approaches to 3D object generation and understanding remains largely unexplored. This paper introduces Scale AutoRegressive 3D (SAR3D), a novel framework that leverages a multi-scale 3D vector-quantized variational autoencoder (VQVAE) to tokenize 3D objects for efficient autoregressive generation and detailed understanding. By predicting the next scale in a multi-scale latent representation instead of the next single token, SAR3D reduces generation time significantly, achieving fast 3D object generation in just 0.82 seconds on an A6000 GPU. Additionally, given the tokens enriched with hierarchical 3D-aware information, we finetune a pretrained LLM on them, enabling multimodal comprehension of 3D content. Our experiments show that SAR3D surpasses current 3D generation methods in both speed and quality and allows LLMs to interpret and caption 3D models comprehensively.