AToM: 2D拡散モデルを用いた償却型テキストtoメッシュ変換

要旨

我々はAmortized Text-to-Mesh（AToM）を提案する。これは複数のテキストプロンプトを同時に最適化するフィードフォワード型のテキストtoメッシュフレームワークである。既存のテキストto 3D手法は、プロンプトごとに時間のかかる最適化を必要とし、ポリゴンメッシュ以外の表現を出力することが多いが、AToMは1秒未満で高品質なテクスチャ付きメッシュを直接生成し、トレーニングコストを約10分の1に削減し、未見のプロンプトにも一般化する。我々の鍵となるアイデアは、新しいトライプレーン型テキストtoメッシュアーキテクチャと、安定したトレーニングを保証しスケーラビリティを実現する2段階の償却最適化戦略である。様々なプロンプトベンチマークでの広範な実験を通じて、AToMは最先端の償却アプローチを大幅に上回り（DF415データセットで4倍以上の精度）、より識別可能で高品質な3D出力を生成する。AToMは強い一般化能力を示し、推論時に追加の最適化を必要とせず、未見の補間プロンプトに対して細粒度の3Dアセットを提供する。これはプロンプトごとのソリューションとは異なる特徴である。

English

We introduce Amortized Text-to-Mesh (AToM), a feed-forward text-to-mesh framework optimized across multiple text prompts simultaneously. In contrast to existing text-to-3D methods that often entail time-consuming per-prompt optimization and commonly output representations other than polygonal meshes, AToM directly generates high-quality textured meshes in less than 1 second with around 10 times reduction in the training cost, and generalizes to unseen prompts. Our key idea is a novel triplane-based text-to-mesh architecture with a two-stage amortized optimization strategy that ensures stable training and enables scalability. Through extensive experiments on various prompt benchmarks, AToM significantly outperforms state-of-the-art amortized approaches with over 4 times higher accuracy (in DF415 dataset) and produces more distinguishable and higher-quality 3D outputs. AToM demonstrates strong generalizability, offering finegrained 3D assets for unseen interpolated prompts without further optimization during inference, unlike per-prompt solutions.

AToM: 2D拡散モデルを用いた償却型テキストtoメッシュ変換

AToM: Amortized Text-to-Mesh using 2D Diffusion

要旨

Support