Hash3D: 3D生成のためのトレーニング不要な高速化手法

Hash3D: Training-free Acceleration for 3D Generation

April 9, 2024

著者: Xingyi Yang, Xinchao Wang

cs.AI

要旨

3D生成モデリングの進化は、2D拡散モデルの採用によって大きく推進されてきました。しかし、この進歩にもかかわらず、最適化プロセス自体の煩雑さが効率性における重大な障壁となっています。本論文では、モデル学習を必要とせずに3D生成を普遍的に高速化するHash3Dを紹介します。Hash3Dの核心は、近接するカメラ位置と拡散タイムステップからレンダリングされた画像において、特徴マップの冗長性が広く存在するという洞察にあります。これらの特徴マップを近接するタイムステップとカメラ角度間で効果的にハッシュ化し再利用することで、Hash3Dは冗長な計算を大幅に防ぎ、3D生成タスクにおける拡散モデルの推論を加速します。これは、適応型グリッドベースのハッシュ化を通じて実現されます。驚くべきことに、この特徴共有メカニズムは生成速度を向上させるだけでなく、合成された3Dオブジェクトの滑らかさと視点一貫性も向上させます。5つのテキストから3Dおよび3つの画像から3Dモデルをカバーした実験により、Hash3Dが最適化を1.3倍から4倍高速化する汎用性を実証しました。さらに、Hash3Dを3Dガウシアンスプラッティングと統合することで、3Dモデルの作成が大幅に高速化され、テキストから3Dへの処理が約10分、画像から3Dへの変換が約30秒に短縮されました。プロジェクトページはhttps://adamdad.github.io/hash3D/にあります。

English

The evolution of 3D generative modeling has been notably propelled by the adoption of 2D diffusion models. Despite this progress, the cumbersome optimization process per se presents a critical hurdle to efficiency. In this paper, we introduce Hash3D, a universal acceleration for 3D generation without model training. Central to Hash3D is the insight that feature-map redundancy is prevalent in images rendered from camera positions and diffusion time-steps in close proximity. By effectively hashing and reusing these feature maps across neighboring timesteps and camera angles, Hash3D substantially prevents redundant calculations, thus accelerating the diffusion model's inference in 3D generation tasks. We achieve this through an adaptive grid-based hashing. Surprisingly, this feature-sharing mechanism not only speed up the generation but also enhances the smoothness and view consistency of the synthesized 3D objects. Our experiments covering 5 text-to-3D and 3 image-to-3D models, demonstrate Hash3D's versatility to speed up optimization, enhancing efficiency by 1.3 to 4 times. Additionally, Hash3D's integration with 3D Gaussian splatting largely speeds up 3D model creation, reducing text-to-3D processing to about 10 minutes and image-to-3D conversion to roughly 30 seconds. The project page is at https://adamdad.github.io/hash3D/.