Das Vorantreiben autoregressiver Modelle für die 3D-Formgenerierung in Bezug auf Kapazität und Skalierbarkeit

papers.abstract

Autoregressive Modelle haben beeindruckende Ergebnisse in der 2D-Bildgenerierung erzielt, indem sie gemeinsame Verteilungen im Gitterraum modellieren. In dieser Arbeit erweitern wir autoregressive Modelle auf 3D-Domänen und streben eine stärkere Fähigkeit zur 3D-Formgenerierung an, indem wir autoregressive Modelle gleichzeitig in Bezug auf Kapazität und Skalierbarkeit verbessern. Zunächst nutzen wir ein Ensemble öffentlich verfügbarer 3D-Datensätze, um das Training von großskaligen Modellen zu erleichtern. Es besteht aus einer umfassenden Sammlung von etwa 900.000 Objekten mit mehreren Eigenschaften wie Netzen, Punkten, Voxeln, gerenderten Bildern und Textbeschreibungen. Dieser vielfältig beschriftete Datensatz, genannt Objaverse-Mix, ermöglicht es unserem Modell, aus einer breiten Palette von Objektvariationen zu lernen. Die direkte Anwendung von 3D-Autoregression stößt jedoch auf kritische Herausforderungen wie hohe Rechenanforderungen an volumetrische Gitter und mehrdeutige autoregressive Reihenfolgen entlang der Gitterdimensionen, was zu einer minderwertigen Qualität der 3D-Formen führt. Daher stellen wir ein neuartiges Framework namens Argus3D vor, das die Kapazität verbessert. Konkret führt unser Ansatz diskretes Repräsentationslernen basierend auf einem latenten Vektor anstelle von volumetrischen Gittern ein, was nicht nur die Rechenkosten reduziert, sondern auch wesentliche geometrische Details bewahrt, indem die gemeinsamen Verteilungen in einer besser handhabbaren Reihenfolge gelernt werden. Die Kapazität der bedingten Generierung kann somit realisiert werden, indem verschiedene konditionierende Eingaben wie Punktwolken, Kategorien, Bilder und Texte einfach an den latenten Vektor angehängt werden. Darüber hinaus skalieren wir unseren Ansatz dank der Einfachheit unserer Modellarchitektur natürlich auf ein größeres Modell mit beeindruckenden 3,6 Milliarden Parametern, was die Qualität der vielseitigen 3D-Generierung weiter verbessert. Umfangreiche Experimente zu vier Generierungsaufgaben zeigen, dass Argus3D vielfältige und treue Formen über mehrere Kategorien hinweg synthetisieren kann und dabei bemerkenswerte Leistungen erzielt.

English

Auto-regressive models have achieved impressive results in 2D image generation by modeling joint distributions in grid space. In this paper, we extend auto-regressive models to 3D domains, and seek a stronger ability of 3D shape generation by improving auto-regressive models at capacity and scalability simultaneously. Firstly, we leverage an ensemble of publicly available 3D datasets to facilitate the training of large-scale models. It consists of a comprehensive collection of approximately 900,000 objects, with multiple properties of meshes, points, voxels, rendered images, and text captions. This diverse labeled dataset, termed Objaverse-Mix, empowers our model to learn from a wide range of object variations. However, directly applying 3D auto-regression encounters critical challenges of high computational demands on volumetric grids and ambiguous auto-regressive order along grid dimensions, resulting in inferior quality of 3D shapes. To this end, we then present a novel framework Argus3D in terms of capacity. Concretely, our approach introduces discrete representation learning based on a latent vector instead of volumetric grids, which not only reduces computational costs but also preserves essential geometric details by learning the joint distributions in a more tractable order. The capacity of conditional generation can thus be realized by simply concatenating various conditioning inputs to the latent vector, such as point clouds, categories, images, and texts. In addition, thanks to the simplicity of our model architecture, we naturally scale up our approach to a larger model with an impressive 3.6 billion parameters, further enhancing the quality of versatile 3D generation. Extensive experiments on four generation tasks demonstrate that Argus3D can synthesize diverse and faithful shapes across multiple categories, achieving remarkable performance.

Das Vorantreiben autoregressiver Modelle für die 3D-Formgenerierung in Bezug auf Kapazität und Skalierbarkeit

Pushing Auto-regressive Models for 3D Shape Generation at Capacity and Scalability

papers.abstract

Support