Hash3D : Accélération sans entraînement pour la génération 3D

Hash3D: Training-free Acceleration for 3D Generation

April 9, 2024

Auteurs: Xingyi Yang, Xinchao Wang

cs.AI

Résumé

L'évolution de la modélisation générative 3D a été notablement propulsée par l'adoption des modèles de diffusion 2D. Malgré ces avancées, le processus d'optimisation fastidieux en lui-même représente un obstacle critique à l'efficacité. Dans cet article, nous présentons Hash3D, une accélération universelle pour la génération 3D sans entraînement de modèle. Au cœur de Hash3D se trouve l'observation que la redondance des cartes de caractéristiques est omniprésente dans les images rendues à partir de positions de caméra et d'étapes de diffusion proches. En hachant et en réutilisant efficacement ces cartes de caractéristiques à travers les étapes temporelles et les angles de caméra voisins, Hash3D prévient substantiellement les calculs redondants, accélérant ainsi l'inférence du modèle de diffusion dans les tâches de génération 3D. Nous y parvenons grâce à un hachage adaptatif basé sur une grille. Étonnamment, ce mécanisme de partage de caractéristiques non seulement accélère la génération, mais améliore également la fluidité et la cohérence visuelle des objets 3D synthétisés. Nos expériences couvrant 5 modèles de texte-à-3D et 3 modèles d'image-à-3D démontrent la polyvalence de Hash3D à accélérer l'optimisation, améliorant l'efficacité de 1,3 à 4 fois. De plus, l'intégration de Hash3D avec le splatting 3D Gaussien accélère considérablement la création de modèles 3D, réduisant le traitement texte-à-3D à environ 10 minutes et la conversion image-à-3D à environ 30 secondes. La page du projet se trouve à l'adresse https://adamdad.github.io/hash3D/.

English

The evolution of 3D generative modeling has been notably propelled by the adoption of 2D diffusion models. Despite this progress, the cumbersome optimization process per se presents a critical hurdle to efficiency. In this paper, we introduce Hash3D, a universal acceleration for 3D generation without model training. Central to Hash3D is the insight that feature-map redundancy is prevalent in images rendered from camera positions and diffusion time-steps in close proximity. By effectively hashing and reusing these feature maps across neighboring timesteps and camera angles, Hash3D substantially prevents redundant calculations, thus accelerating the diffusion model's inference in 3D generation tasks. We achieve this through an adaptive grid-based hashing. Surprisingly, this feature-sharing mechanism not only speed up the generation but also enhances the smoothness and view consistency of the synthesized 3D objects. Our experiments covering 5 text-to-3D and 3 image-to-3D models, demonstrate Hash3D's versatility to speed up optimization, enhancing efficiency by 1.3 to 4 times. Additionally, Hash3D's integration with 3D Gaussian splatting largely speeds up 3D model creation, reducing text-to-3D processing to about 10 minutes and image-to-3D conversion to roughly 30 seconds. The project page is at https://adamdad.github.io/hash3D/.