Spingere i modelli auto-regressivi per la generazione di forme 3D al massimo delle capacità e della scalabilità

Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability

February 19, 2024

Autori: Xuelin Qian, Yu Wang, Simian Luo, Yinda Zhang, Ying Tai, Zhenyu Zhang, Chengjie Wang, Xiangyang Xue, Bo Zhao, Tiejun Huang, Yunsheng Wu, Yanwei Fu

cs.AI

Abstract

I modelli auto-regressivi hanno ottenuto risultati impressionanti nella generazione di immagini 2D modellando distribuzioni congiunte nello spazio a griglia. In questo articolo, estendiamo i modelli auto-regressivi ai domini 3D, cercando di potenziare la capacità di generazione di forme 3D migliorando contemporaneamente la capacità e la scalabilità dei modelli auto-regressivi. In primo luogo, sfruttiamo un insieme di dataset 3D pubblicamente disponibili per facilitare l'addestramento di modelli su larga scala. Questo insieme comprende una raccolta completa di circa 900.000 oggetti, con molteplici proprietà come mesh, punti, voxel, immagini renderizzate e didascalie testuali. Questo dataset eterogeneo ed etichettato, denominato Objaverse-Mix, consente al nostro modello di apprendere da una vasta gamma di variazioni di oggetti. Tuttavia, l'applicazione diretta dell'auto-regressione 3D incontra sfide critiche legate all'elevato costo computazionale richiesto dalle griglie volumetriche e all'ordine auto-regressivo ambiguo lungo le dimensioni della griglia, portando a una qualità inferiore delle forme 3D. A tal fine, presentiamo quindi un nuovo framework chiamato Argus3D in termini di capacità. Nello specifico, il nostro approccio introduce un apprendimento di rappresentazione discreta basato su un vettore latente anziché su griglie volumetriche, il quale non solo riduce i costi computazionali ma preserva anche i dettagli geometrici essenziali apprendendo le distribuzioni congiunte in un ordine più gestibile. La capacità di generazione condizionata può quindi essere realizzata semplicemente concatenando vari input condizionanti al vettore latente, come nuvole di punti, categorie, immagini e testi. Inoltre, grazie alla semplicità della nostra architettura di modello, scaliamo naturalmente il nostro approccio a un modello più grande con un impressionante numero di 3,6 miliardi di parametri, migliorando ulteriormente la qualità della generazione versatile di forme 3D. Esperimenti estesi su quattro task di generazione dimostrano che Argus3D può sintetizzare forme diverse e fedeli attraverso molteplici categorie, raggiungendo prestazioni notevoli.

English

Auto-regressive models have achieved impressive results in 2D image generation by modeling joint distributions in grid space. In this paper, we extend auto-regressive models to 3D domains, and seek a stronger ability of 3D shape generation by improving auto-regressive models at capacity and scalability simultaneously. Firstly, we leverage an ensemble of publicly available 3D datasets to facilitate the training of large-scale models. It consists of a comprehensive collection of approximately 900,000 objects, with multiple properties of meshes, points, voxels, rendered images, and text captions. This diverse labeled dataset, termed Objaverse-Mix, empowers our model to learn from a wide range of object variations. However, directly applying 3D auto-regression encounters critical challenges of high computational demands on volumetric grids and ambiguous auto-regressive order along grid dimensions, resulting in inferior quality of 3D shapes. To this end, we then present a novel framework Argus3D in terms of capacity. Concretely, our approach introduces discrete representation learning based on a latent vector instead of volumetric grids, which not only reduces computational costs but also preserves essential geometric details by learning the joint distributions in a more tractable order. The capacity of conditional generation can thus be realized by simply concatenating various conditioning inputs to the latent vector, such as point clouds, categories, images, and texts. In addition, thanks to the simplicity of our model architecture, we naturally scale up our approach to a larger model with an impressive 3.6 billion parameters, further enhancing the quality of versatile 3D generation. Extensive experiments on four generation tasks demonstrate that Argus3D can synthesize diverse and faithful shapes across multiple categories, achieving remarkable performance.