Hash3D: Training-freie Beschleunigung für die 3D-Generierung

Hash3D: Training-free Acceleration for 3D Generation

April 9, 2024

Autoren: Xingyi Yang, Xinchao Wang

cs.AI

Zusammenfassung

Die Evolution der 3D-generativen Modellierung wurde maßgeblich durch die Übernahme von 2D-Diffusionsmodellen vorangetrieben. Trotz dieses Fortschritts stellt der umständliche Optimierungsprozess an sich eine kritische Hürde für die Effizienz dar. In diesem Paper stellen wir Hash3D vor, eine universelle Beschleunigung für die 3D-Generierung ohne Modelltraining. Zentral für Hash3D ist die Erkenntnis, dass die Redundanz von Merkmalskarten in Bildern, die aus Kamerapositionen und Diffusionszeitpunkten in unmittelbarer Nähe gerendert wurden, weit verbreitet ist. Durch effektives Hashing und Wiederverwendung dieser Merkmalskarten über benachbarte Zeitpunkte und Kamerawinkel hinweg verhindert Hash3D wesentlich redundante Berechnungen und beschleunigt somit die Inferenz des Diffusionsmodells bei 3D-Generierungsaufgaben erheblich. Dies erreichen wir durch ein adaptives rasterbasiertes Hashing. Überraschenderweise beschleunigt dieser Merkmalsfreigabemechanismus nicht nur die Generierung, sondern verbessert auch die Geschmeidigkeit und Ansichtskonsistenz der synthetisierten 3D-Objekte. Unsere Experimente mit 5 Text-zu-3D- und 3 Bild-zu-3D-Modellen zeigen die Vielseitigkeit von Hash3D zur Beschleunigung der Optimierung und zur Steigerung der Effizienz um das 1,3- bis 4-fache. Darüber hinaus beschleunigt die Integration von Hash3D mit 3D-Gaußsplatting die 3D-Modellerstellung erheblich, wodurch die Verarbeitung von Text zu 3D auf etwa 10 Minuten und die Bild-zu-3D-Konvertierung auf ungefähr 30 Sekunden reduziert wird. Die Projektseite befindet sich unter https://adamdad.github.io/hash3D/.

English

The evolution of 3D generative modeling has been notably propelled by the adoption of 2D diffusion models. Despite this progress, the cumbersome optimization process per se presents a critical hurdle to efficiency. In this paper, we introduce Hash3D, a universal acceleration for 3D generation without model training. Central to Hash3D is the insight that feature-map redundancy is prevalent in images rendered from camera positions and diffusion time-steps in close proximity. By effectively hashing and reusing these feature maps across neighboring timesteps and camera angles, Hash3D substantially prevents redundant calculations, thus accelerating the diffusion model's inference in 3D generation tasks. We achieve this through an adaptive grid-based hashing. Surprisingly, this feature-sharing mechanism not only speed up the generation but also enhances the smoothness and view consistency of the synthesized 3D objects. Our experiments covering 5 text-to-3D and 3 image-to-3D models, demonstrate Hash3D's versatility to speed up optimization, enhancing efficiency by 1.3 to 4 times. Additionally, Hash3D's integration with 3D Gaussian splatting largely speeds up 3D model creation, reducing text-to-3D processing to about 10 minutes and image-to-3D conversion to roughly 30 seconds. The project page is at https://adamdad.github.io/hash3D/.