粒子状：フィードフォワード3Dオブジェクト関節化

要旨

本論文では、日常的な物体の単一の静的3Dメッシュを入力として、3Dパーツ、運動構造、動作制約を含む、関節構造の全ての属性を直接推論するフィードフォワード手法「Particulate」を提案する。その中核には、トランスフォーマーネットワークであるPart Articulation Transformerを採用している。このネットワークは、入力メッシュの点群を処理し、柔軟でスケーラブルなアーキテクチャにより、前述の全ての属性を、複数関節をネイティブにサポートしながら予測する。我々は、公開データセットから得た多様な関節付き3Dアセットを用いて、このネットワークをエンドツーエンドで学習させた。推論時には、Particulateはネットワークのフィードフォワード予測を入力メッシュに適用し、数秒で完全に関節化された3Dモデルを生成する。これは、オブジェクトごとの最適化を必要とする従来手法よりも遥かに高速である。またParticulateは、AI生成された3Dアセットの関節構造も正確に推論でき、既存の画像-to-3D生成器と組み合わせることで、単一の（実写または合成）画像から完全な関節付き3Dオブジェクトの抽出を可能にする。さらに、高品質な公開3Dアセットから厳選した、3D関節推定のための新たな難易度の高いベンチマークを導入し、評価プロトコルを人間の選好により一貫性のあるものに再設計した。定量的・定性的な結果は、Particulateが従来の最先端手法を大幅に上回ることを示している。

English

We present Particulate, a feed-forward approach that, given a single static 3D mesh of an everyday object, directly infers all attributes of the underlying articulated structure, including its 3D parts, kinematic structure, and motion constraints. At its core is a transformer network, Part Articulation Transformer, which processes a point cloud of the input mesh using a flexible and scalable architecture to predict all the aforementioned attributes with native multi-joint support. We train the network end-to-end on a diverse collection of articulated 3D assets from public datasets. During inference, Particulate lifts the network's feed-forward prediction to the input mesh, yielding a fully articulated 3D model in seconds, much faster than prior approaches that require per-object optimization. Particulate can also accurately infer the articulated structure of AI-generated 3D assets, enabling full-fledged extraction of articulated 3D objects from a single (real or synthetic) image when combined with an off-the-shelf image-to-3D generator. We further introduce a new challenging benchmark for 3D articulation estimation curated from high-quality public 3D assets, and redesign the evaluation protocol to be more consistent with human preferences. Quantitative and qualitative results show that Particulate significantly outperforms state-of-the-art approaches.

粒子状：フィードフォワード3Dオブジェクト関節化

Particulate: Feed-Forward 3D Object Articulation

要旨

Support