Particulaire : Articulation d'objets 3D par propagation avant

papers.abstract

Nous présentons Particulate, une approche feed-forward qui, à partir d'un simple maillage 3D statique d'un objet du quotidien, infère directement tous les attributs de la structure articulée sous-jacente, y compris ses pièces 3D, sa structure cinématique et ses contraintes de mouvement. Son cœur est un réseau de transformeurs, le Part Articulation Transformer, qui traite un nuage de points du maillage d'entrée en utilisant une architecture flexible et évolutive pour prédire tous les attributs mentionnés ci-dessus avec une prise en charge native des articulations multiples. Nous entraînons le réseau de bout en bout sur une collection diversifiée d'actifs 3D articulés provenant de jeux de données publics. Lors de l'inférence, Particulate transfère la prédiction feed-forward du réseau au maillage d'entrée, produisant un modèle 3D entièrement articulé en quelques secondes, soit beaucoup plus rapidement que les approches antérieures qui nécessitent une optimisation par objet. Particulate peut également inférer avec précision la structure articulée d'actifs 3D générés par IA, permettant l'extraction complète d'objets 3D articulés à partir d'une seule image (réelle ou synthétique) lorsqu'il est combiné à un générateur image-vers-3D standard. Nous introduisons en outre un nouveau benchmark exigeant pour l'estimation de l'articulation 3D, constitué à partir d'actifs 3D publics de haute qualité, et repensons le protocole d'évaluation pour qu'il soit plus cohérent avec les préférences humaines. Les résultats quantitatifs et qualitatifs montrent que Particulate surpasse significativement les approches de l'état de l'art.

English

We present Particulate, a feed-forward approach that, given a single static 3D mesh of an everyday object, directly infers all attributes of the underlying articulated structure, including its 3D parts, kinematic structure, and motion constraints. At its core is a transformer network, Part Articulation Transformer, which processes a point cloud of the input mesh using a flexible and scalable architecture to predict all the aforementioned attributes with native multi-joint support. We train the network end-to-end on a diverse collection of articulated 3D assets from public datasets. During inference, Particulate lifts the network's feed-forward prediction to the input mesh, yielding a fully articulated 3D model in seconds, much faster than prior approaches that require per-object optimization. Particulate can also accurately infer the articulated structure of AI-generated 3D assets, enabling full-fledged extraction of articulated 3D objects from a single (real or synthetic) image when combined with an off-the-shelf image-to-3D generator. We further introduce a new challenging benchmark for 3D articulation estimation curated from high-quality public 3D assets, and redesign the evaluation protocol to be more consistent with human preferences. Quantitative and qualitative results show that Particulate significantly outperforms state-of-the-art approaches.

Particulaire : Articulation d'objets 3D par propagation avant

Particulate: Feed-Forward 3D Object Articulation

papers.abstract

Support