Block3D: ブロック単位の拡散による効率的なテキストから3Dへの生成

要旨

テキストから3D生成は急速に進歩しているが、低い推論コストで高い幾何学的忠実度を達成することは依然として困難である。既存のテキストから3Dへの変換手法は、離散形状トークンを自己回帰的にデコードするか、拡散モデルやフローモデルを用いてグローバルな3D表現を反復的に精緻化するかのいずれかである。しかし、自己回帰デコードは逐次的であり、誤りを修正できない。一方、拡散モデルやフローマッチングモデルは表現全体を繰り返し処理するため、高品質な生成はますますコストがかかる。本論文では、離散形状トークン系列を連続ブロックに分割し、ブロックを自己回帰的に生成するとともに、現在のブロック内のすべてのトークンを同時にデノイズする、ブロック単位の拡散フレームワークであるBlock3Dを提案する。誤差蓄積を軽減するため、信頼度に基づくブロック内補正を導入し、各ブロックが確定される前に低信頼度トークンを修正する。TRELLIS-500Kのホールドアウトセットにおいて、Block3Dは平均エンドツーエンド生成時間を25.71秒から4.99秒に短縮し、幾何学的忠実度を損なうことなく、ファインチューニングされた自己回帰ベースラインに対して5.15倍の高速化を達成した。

English

While text-to-3D generation has advanced rapidly, achieving high geometric fidelity at low inference cost remains challenging. Existing text-to-3D methods either decode discrete shape tokens autoregressively or iteratively refine global 3D representations with diffusion or flow models. However, autoregressive decoding is sequential and cannot revise errors, whereas diffusion and flow-matching models repeatedly process the full representation, making high-quality generation increasingly expensive. In this paper, we propose Block3D, a block-wise diffusion framework that partitions the discrete shape-token sequence into contiguous blocks, generates the blocks autoregressively, and jointly denoises all tokens within the current block. To alleviate error accumulation, we introduce confidence-guided intra-block correction, which revises low-confidence tokens before each block is finalized. On a held-out set from TRELLIS-500K, Block3D reduces mean end-to-end generation time from 25.71 seconds to 4.99 seconds, achieving a 5.15times speedup over the fine-tuned autoregressive baseline without sacrificing geometric fidelity.