Hash3D: Accelerazione senza addestramento per la generazione 3D

Hash3D: Training-free Acceleration for 3D Generation

April 9, 2024

Autori: Xingyi Yang, Xinchao Wang

cs.AI

Abstract

L'evoluzione della modellazione generativa 3D è stata notevolmente accelerata dall'adozione di modelli di diffusione 2D. Nonostante questi progressi, il processo di ottimizzazione stesso rappresenta un ostacolo critico per l'efficienza. In questo articolo, introduciamo Hash3D, un metodo universale per accelerare la generazione 3D senza addestramento del modello. Il fulcro di Hash3D è l'intuizione che la ridondanza delle mappe di caratteristiche sia prevalente nelle immagini renderizzate da posizioni della camera e passaggi temporali di diffusione vicini. Hashing e riutilizzando efficacemente queste mappe di caratteristiche tra passaggi temporali e angoli di camera adiacenti, Hash3D previene sostanzialmente calcoli ridondanti, accelerando così l'inferenza del modello di diffusione nei compiti di generazione 3D. Raggiungiamo questo obiettivo attraverso un hashing adattivo basato su griglia. Sorprendentemente, questo meccanismo di condivisione delle caratteristiche non solo accelera la generazione, ma migliora anche la fluidità e la coerenza visiva degli oggetti 3D sintetizzati. I nostri esperimenti, che coprono 5 modelli da testo-a-3D e 3 da immagine-a-3D, dimostrano la versatilità di Hash3D nell'accelerare l'ottimizzazione, migliorando l'efficienza da 1,3 a 4 volte. Inoltre, l'integrazione di Hash3D con lo splatting Gaussiano 3D accelera notevolmente la creazione di modelli 3D, riducendo il tempo di elaborazione da testo-a-3D a circa 10 minuti e la conversione da immagine-a-3D a circa 30 secondi. La pagina del progetto è disponibile all'indirizzo https://adamdad.github.io/hash3D/.

English

The evolution of 3D generative modeling has been notably propelled by the adoption of 2D diffusion models. Despite this progress, the cumbersome optimization process per se presents a critical hurdle to efficiency. In this paper, we introduce Hash3D, a universal acceleration for 3D generation without model training. Central to Hash3D is the insight that feature-map redundancy is prevalent in images rendered from camera positions and diffusion time-steps in close proximity. By effectively hashing and reusing these feature maps across neighboring timesteps and camera angles, Hash3D substantially prevents redundant calculations, thus accelerating the diffusion model's inference in 3D generation tasks. We achieve this through an adaptive grid-based hashing. Surprisingly, this feature-sharing mechanism not only speed up the generation but also enhances the smoothness and view consistency of the synthesized 3D objects. Our experiments covering 5 text-to-3D and 3 image-to-3D models, demonstrate Hash3D's versatility to speed up optimization, enhancing efficiency by 1.3 to 4 times. Additionally, Hash3D's integration with 3D Gaussian splatting largely speeds up 3D model creation, reducing text-to-3D processing to about 10 minutes and image-to-3D conversion to roughly 30 seconds. The project page is at https://adamdad.github.io/hash3D/.