Hash3D: Aceleración sin entrenamiento para la generación 3D

Hash3D: Training-free Acceleration for 3D Generation

April 9, 2024

Autores: Xingyi Yang, Xinchao Wang

cs.AI

Resumen

La evolución del modelado generativo 3D ha sido notablemente impulsada por la adopción de modelos de difusión 2D. A pesar de este progreso, el engorroso proceso de optimización en sí mismo representa un obstáculo crítico para la eficiencia. En este artículo, presentamos Hash3D, una aceleración universal para la generación 3D sin necesidad de entrenamiento de modelos. El núcleo de Hash3D radica en la observación de que la redundancia en los mapas de características es prevalente en las imágenes renderizadas desde posiciones de cámara y pasos de tiempo de difusión cercanos. Al hashear y reutilizar eficazmente estos mapas de características entre pasos de tiempo y ángulos de cámara vecinos, Hash3D previene sustancialmente los cálculos redundantes, acelerando así la inferencia del modelo de difusión en tareas de generación 3D. Logramos esto mediante un hashing basado en una cuadrícula adaptativa. Sorprendentemente, este mecanismo de compartición de características no solo acelera la generación, sino que también mejora la suavidad y la consistencia visual de los objetos 3D sintetizados. Nuestros experimentos, que abarcan 5 modelos de texto-a-3D y 3 modelos de imagen-a-3D, demuestran la versatilidad de Hash3D para acelerar la optimización, mejorando la eficiencia entre 1.3 y 4 veces. Además, la integración de Hash3D con el splatting de Gaussianas 3D acelera en gran medida la creación de modelos 3D, reduciendo el procesamiento de texto-a-3D a aproximadamente 10 minutos y la conversión de imagen-a-3D a unos 30 segundos. La página del proyecto se encuentra en https://adamdad.github.io/hash3D/.

English

The evolution of 3D generative modeling has been notably propelled by the adoption of 2D diffusion models. Despite this progress, the cumbersome optimization process per se presents a critical hurdle to efficiency. In this paper, we introduce Hash3D, a universal acceleration for 3D generation without model training. Central to Hash3D is the insight that feature-map redundancy is prevalent in images rendered from camera positions and diffusion time-steps in close proximity. By effectively hashing and reusing these feature maps across neighboring timesteps and camera angles, Hash3D substantially prevents redundant calculations, thus accelerating the diffusion model's inference in 3D generation tasks. We achieve this through an adaptive grid-based hashing. Surprisingly, this feature-sharing mechanism not only speed up the generation but also enhances the smoothness and view consistency of the synthesized 3D objects. Our experiments covering 5 text-to-3D and 3 image-to-3D models, demonstrate Hash3D's versatility to speed up optimization, enhancing efficiency by 1.3 to 4 times. Additionally, Hash3D's integration with 3D Gaussian splatting largely speeds up 3D model creation, reducing text-to-3D processing to about 10 minutes and image-to-3D conversion to roughly 30 seconds. The project page is at https://adamdad.github.io/hash3D/.