Hash3D: Ускорение генерации 3D без обучения

Hash3D: Training-free Acceleration for 3D Generation

April 9, 2024

Авторы: Xingyi Yang, Xinchao Wang

cs.AI

Аннотация

Эволюция 3D генеративного моделирования заметно ускорена за счет принятия 2D моделей диффузии. Несмотря на этот прогресс, трудоемкий процесс оптимизации сам по себе представляет собой критическое препятствие для эффективности. В данной статье мы представляем Hash3D, универсальное ускорение для генерации 3D без обучения модели. Центральной идеей Hash3D является понимание того, что избыточность признаковых карт распространена в изображениях, созданных из позиций камеры и временных шагов диффузии в непосредственной близости. Путем эффективного хеширования и повторного использования этих признаковых карт между соседними временными шагами и углами обзора, Hash3D значительно уменьшает избыточные вычисления, ускоряя вывод диффузионной модели в задачах генерации 3D. Мы достигаем этого с помощью адаптивного сеточного хеширования. Удивительно, что этот механизм обмена признаками не только ускоряет генерацию, но также улучшает плавность и согласованность обзора синтезированных 3D объектов. Наши эксперименты, охватывающие 5 моделей текст-в-3D и 3 модели изображение-в-3D, демонстрируют универсальность Hash3D в ускорении оптимизации, повышая эффективность на 1.3 до 4 раз. Кроме того, интеграция Hash3D с 3D гауссовым сплэттингом значительно ускоряет создание 3D моделей, сокращая обработку текста-в-3D до примерно 10 минут и преобразование изображения-в-3D до приблизительно 30 секунд. Страница проекта находится по адресу https://adamdad.github.io/hash3D/.

English

The evolution of 3D generative modeling has been notably propelled by the adoption of 2D diffusion models. Despite this progress, the cumbersome optimization process per se presents a critical hurdle to efficiency. In this paper, we introduce Hash3D, a universal acceleration for 3D generation without model training. Central to Hash3D is the insight that feature-map redundancy is prevalent in images rendered from camera positions and diffusion time-steps in close proximity. By effectively hashing and reusing these feature maps across neighboring timesteps and camera angles, Hash3D substantially prevents redundant calculations, thus accelerating the diffusion model's inference in 3D generation tasks. We achieve this through an adaptive grid-based hashing. Surprisingly, this feature-sharing mechanism not only speed up the generation but also enhances the smoothness and view consistency of the synthesized 3D objects. Our experiments covering 5 text-to-3D and 3 image-to-3D models, demonstrate Hash3D's versatility to speed up optimization, enhancing efficiency by 1.3 to 4 times. Additionally, Hash3D's integration with 3D Gaussian splatting largely speeds up 3D model creation, reducing text-to-3D processing to about 10 minutes and image-to-3D conversion to roughly 30 seconds. The project page is at https://adamdad.github.io/hash3D/.