Het maximaliseren van de capaciteit en schaalbaarheid van autoregressieve modellen voor 3D-vormgeneratie

Samenvatting

Auto-regressieve modellen hebben indrukwekkende resultaten behaald in 2D-beeldgeneratie door gezamenlijke verdelingen in rasterruimte te modelleren. In dit artikel breiden we auto-regressieve modellen uit naar 3D-domeinen en streven we naar een sterkere capaciteit voor 3D-vormgeneratie door auto-regressieve modellen tegelijkertijd te verbeteren op het gebied van capaciteit en schaalbaarheid. Ten eerste maken we gebruik van een ensemble van openbaar beschikbare 3D-datasets om de training van grootschalige modellen te vergemakkelijken. Dit bestaat uit een uitgebreide collectie van ongeveer 900.000 objecten, met meerdere eigenschappen zoals meshes, punten, voxels, gerenderde afbeeldingen en tekstbeschrijvingen. Deze diverse gelabelde dataset, genaamd Objaverse-Mix, stelt ons model in staat te leren van een breed scala aan objectvariaties. Het direct toepassen van 3D-auto-regressie stuit echter op kritieke uitdagingen, zoals hoge computationele eisen op volumetrische rasters en dubbelzinnige auto-regressieve volgorde langs rasterdimensies, wat resulteert in een inferieure kwaliteit van 3D-vormen. Daarom presenteren we vervolgens een nieuw framework, Argus3D, wat betreft capaciteit. Concreet introduceert onze aanpak discrete representatieleer gebaseerd op een latente vector in plaats van volumetrische rasters, wat niet alleen de computationele kosten vermindert, maar ook essentiële geometrische details behoudt door de gezamenlijke verdelingen in een meer hanteerbare volgorde te leren. De capaciteit van conditionele generatie kan zo worden gerealiseerd door eenvoudigweg verschillende conditionele invoeren aan de latente vector te koppelen, zoals puntenwolken, categorieën, afbeeldingen en teksten. Bovendien kunnen we, dankzij de eenvoud van onze modelarchitectuur, onze aanpak natuurlijk opschalen naar een groter model met indrukwekkende 3,6 miljard parameters, wat de kwaliteit van veelzijdige 3D-generatie verder verbetert. Uitgebreide experimenten op vier generatietaken tonen aan dat Argus3D diverse en nauwkeurige vormen over meerdere categorieën kan synthetiseren, waarbij opmerkelijke prestaties worden behaald.

English

Auto-regressive models have achieved impressive results in 2D image generation by modeling joint distributions in grid space. In this paper, we extend auto-regressive models to 3D domains, and seek a stronger ability of 3D shape generation by improving auto-regressive models at capacity and scalability simultaneously. Firstly, we leverage an ensemble of publicly available 3D datasets to facilitate the training of large-scale models. It consists of a comprehensive collection of approximately 900,000 objects, with multiple properties of meshes, points, voxels, rendered images, and text captions. This diverse labeled dataset, termed Objaverse-Mix, empowers our model to learn from a wide range of object variations. However, directly applying 3D auto-regression encounters critical challenges of high computational demands on volumetric grids and ambiguous auto-regressive order along grid dimensions, resulting in inferior quality of 3D shapes. To this end, we then present a novel framework Argus3D in terms of capacity. Concretely, our approach introduces discrete representation learning based on a latent vector instead of volumetric grids, which not only reduces computational costs but also preserves essential geometric details by learning the joint distributions in a more tractable order. The capacity of conditional generation can thus be realized by simply concatenating various conditioning inputs to the latent vector, such as point clouds, categories, images, and texts. In addition, thanks to the simplicity of our model architecture, we naturally scale up our approach to a larger model with an impressive 3.6 billion parameters, further enhancing the quality of versatile 3D generation. Extensive experiments on four generation tasks demonstrate that Argus3D can synthesize diverse and faithful shapes across multiple categories, achieving remarkable performance.

Het maximaliseren van de capaciteit en schaalbaarheid van autoregressieve modellen voor 3D-vormgeneratie

Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability

Samenvatting

Support