Expandindo Modelos Auto-regressivos para Geração de Formas 3D em Capacidade e Escalabilidade

Resumo

Modelos auto-regressivos têm alcançado resultados impressionantes na geração de imagens 2D ao modelar distribuições conjuntas no espaço de grade. Neste artigo, estendemos os modelos auto-regressivos para domínios 3D, buscando uma capacidade aprimorada de geração de formas 3D ao melhorar simultaneamente a capacidade e a escalabilidade dos modelos auto-regressivos. Primeiramente, utilizamos um conjunto de dados 3D publicamente disponíveis para facilitar o treinamento de modelos em larga escala. Esse conjunto consiste em uma coleção abrangente de aproximadamente 900.000 objetos, com múltiplas propriedades de malhas, pontos, voxels, imagens renderizadas e legendas de texto. Esse conjunto de dados diversificado e rotulado, denominado Objaverse-Mix, capacita nosso modelo a aprender a partir de uma ampla gama de variações de objetos. No entanto, a aplicação direta da auto-regressão 3D enfrenta desafios críticos de alta demanda computacional em grades volumétricas e ordem auto-regressiva ambígua ao longo das dimensões da grade, resultando em qualidade inferior das formas 3D. Para isso, apresentamos então uma nova estrutura chamada Argus3D em termos de capacidade. Concretamente, nossa abordagem introduz o aprendizado de representação discreta baseado em um vetor latente em vez de grades volumétricas, o que não apenas reduz os custos computacionais, mas também preserva detalhes geométricos essenciais ao aprender as distribuições conjuntas em uma ordem mais tratável. A capacidade de geração condicional pode, assim, ser realizada simplesmente concatenando várias entradas de condicionamento ao vetor latente, como nuvens de pontos, categorias, imagens e textos. Além disso, graças à simplicidade da arquitetura do nosso modelo, escalamos naturalmente nossa abordagem para um modelo maior com impressionantes 3,6 bilhões de parâmetros, aprimorando ainda mais a qualidade da versátil geração 3D. Experimentos extensivos em quatro tarefas de geração demonstram que o Argus3D pode sintetizar formas diversas e fiéis em múltiplas categorias, alcançando um desempenho notável.

English

Auto-regressive models have achieved impressive results in 2D image generation by modeling joint distributions in grid space. In this paper, we extend auto-regressive models to 3D domains, and seek a stronger ability of 3D shape generation by improving auto-regressive models at capacity and scalability simultaneously. Firstly, we leverage an ensemble of publicly available 3D datasets to facilitate the training of large-scale models. It consists of a comprehensive collection of approximately 900,000 objects, with multiple properties of meshes, points, voxels, rendered images, and text captions. This diverse labeled dataset, termed Objaverse-Mix, empowers our model to learn from a wide range of object variations. However, directly applying 3D auto-regression encounters critical challenges of high computational demands on volumetric grids and ambiguous auto-regressive order along grid dimensions, resulting in inferior quality of 3D shapes. To this end, we then present a novel framework Argus3D in terms of capacity. Concretely, our approach introduces discrete representation learning based on a latent vector instead of volumetric grids, which not only reduces computational costs but also preserves essential geometric details by learning the joint distributions in a more tractable order. The capacity of conditional generation can thus be realized by simply concatenating various conditioning inputs to the latent vector, such as point clouds, categories, images, and texts. In addition, thanks to the simplicity of our model architecture, we naturally scale up our approach to a larger model with an impressive 3.6 billion parameters, further enhancing the quality of versatile 3D generation. Extensive experiments on four generation tasks demonstrate that Argus3D can synthesize diverse and faithful shapes across multiple categories, achieving remarkable performance.

Expandindo Modelos Auto-regressivos para Geração de Formas 3D em Capacidade e Escalabilidade

Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability

Resumo

Support