Impulsando modelos autorregresivos para la generación de formas 3D en capacidad y escalabilidad

Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability

February 19, 2024

Autores: Xuelin Qian, Yu Wang, Simian Luo, Yinda Zhang, Ying Tai, Zhenyu Zhang, Chengjie Wang, Xiangyang Xue, Bo Zhao, Tiejun Huang, Yunsheng Wu, Yanwei Fu

cs.AI

Resumen

Los modelos auto-regresivos han logrado resultados impresionantes en la generación de imágenes 2D al modelar distribuciones conjuntas en el espacio de cuadrícula. En este artículo, extendemos los modelos auto-regresivos a dominios 3D y buscamos una mayor capacidad de generación de formas 3D mejorando los modelos auto-regresivos tanto en capacidad como en escalabilidad simultáneamente. En primer lugar, aprovechamos un conjunto de conjuntos de datos 3D disponibles públicamente para facilitar el entrenamiento de modelos a gran escala. Este conjunto consiste en una colección integral de aproximadamente 900,000 objetos, con múltiples propiedades de mallas, puntos, vóxeles, imágenes renderizadas y descripciones de texto. Este conjunto de datos etiquetado diverso, denominado Objaverse-Mix, permite que nuestro modelo aprenda de una amplia gama de variaciones de objetos. Sin embargo, la aplicación directa de la auto-regresión 3D enfrenta desafíos críticos de altas demandas computacionales en cuadrículas volumétricas y un orden auto-regresivo ambiguo a lo largo de las dimensiones de la cuadrícula, lo que resulta en una calidad inferior de las formas 3D. Para abordar esto, presentamos un nuevo marco llamado Argus3D en términos de capacidad. Concretamente, nuestro enfoque introduce el aprendizaje de representación discreta basado en un vector latente en lugar de cuadrículas volumétricas, lo que no solo reduce los costos computacionales sino que también preserva detalles geométricos esenciales al aprender las distribuciones conjuntas en un orden más manejable. La capacidad de generación condicional puede realizarse simplemente concatenando varias entradas de condicionamiento al vector latente, como nubes de puntos, categorías, imágenes y textos. Además, gracias a la simplicidad de nuestra arquitectura de modelo, escalamos naturalmente nuestro enfoque a un modelo más grande con impresionantes 3.6 mil millones de parámetros, mejorando aún más la calidad de la generación versátil de 3D. Experimentos extensos en cuatro tareas de generación demuestran que Argus3D puede sintetizar formas diversas y fieles en múltiples categorías, logrando un rendimiento notable.

English

Auto-regressive models have achieved impressive results in 2D image generation by modeling joint distributions in grid space. In this paper, we extend auto-regressive models to 3D domains, and seek a stronger ability of 3D shape generation by improving auto-regressive models at capacity and scalability simultaneously. Firstly, we leverage an ensemble of publicly available 3D datasets to facilitate the training of large-scale models. It consists of a comprehensive collection of approximately 900,000 objects, with multiple properties of meshes, points, voxels, rendered images, and text captions. This diverse labeled dataset, termed Objaverse-Mix, empowers our model to learn from a wide range of object variations. However, directly applying 3D auto-regression encounters critical challenges of high computational demands on volumetric grids and ambiguous auto-regressive order along grid dimensions, resulting in inferior quality of 3D shapes. To this end, we then present a novel framework Argus3D in terms of capacity. Concretely, our approach introduces discrete representation learning based on a latent vector instead of volumetric grids, which not only reduces computational costs but also preserves essential geometric details by learning the joint distributions in a more tractable order. The capacity of conditional generation can thus be realized by simply concatenating various conditioning inputs to the latent vector, such as point clouds, categories, images, and texts. In addition, thanks to the simplicity of our model architecture, we naturally scale up our approach to a larger model with an impressive 3.6 billion parameters, further enhancing the quality of versatile 3D generation. Extensive experiments on four generation tasks demonstrate that Argus3D can synthesize diverse and faithful shapes across multiple categories, achieving remarkable performance.