입자형: 피드포워드 3D 객체 관절화

초록

본 논문에서는 일상적인 객체의 단일 정적 3D 메시가 주어졌을 때, 3D 부품, 운동학적 구조, 운동 제약 조건을 포함한 기본 관절 구조의 모든 속성을 직접 추론하는 순전파(Feed-forward) 방식인 Particulate를 제안합니다. 핵심에는 입력 메시의 포인트 클라우드를 처리하여 앞서 언급한 모든 속성을 기본적인 다중 관절 지원으로 예측하기 위해 유연하고 확장 가능한 아키텍처를 사용하는 트랜스포머 네트워크인 Part Articulation Transformer가 있습니다. 우리는 공개 데이터셋의 다양한 관절형 3D 자산 컬렉션을 통해 이 네트워크를 종단간(End-to-end)으로 학습시켰습니다. 추론 단계에서 Particulate는 네트워크의 순전파 예측을 입력 메시에 적용하여 몇 초 만에 완전한 관절형 3D 모델을 생성하며, 이는 객체별 최적화가 필요한 기존 접근법보다 훨씬 빠릅니다. Particulate는 AI 생성 3D 자산의 관절 구조도 정확하게 추론할 수 있어, 기존의 이미지-3D 생성기와 결합하면 단일(실사 또는 합성) 이미지에서 완전한 관절형 3D 객체 추출을 가능하게 합니다. 또한 고품질 공개 3D 자산에서 선별한 3D 관절 추정을 위한 새로운 도전적인 벤치마크를 도입하고, 평가 프로토콜을 인간의 선호도와 더 일관되도록 재설계했습니다. 정량적 및 정성적 결과는 Particulate가 최첨단 접근법을 크게 능가함을 보여줍니다.

English

We present Particulate, a feed-forward approach that, given a single static 3D mesh of an everyday object, directly infers all attributes of the underlying articulated structure, including its 3D parts, kinematic structure, and motion constraints. At its core is a transformer network, Part Articulation Transformer, which processes a point cloud of the input mesh using a flexible and scalable architecture to predict all the aforementioned attributes with native multi-joint support. We train the network end-to-end on a diverse collection of articulated 3D assets from public datasets. During inference, Particulate lifts the network's feed-forward prediction to the input mesh, yielding a fully articulated 3D model in seconds, much faster than prior approaches that require per-object optimization. Particulate can also accurately infer the articulated structure of AI-generated 3D assets, enabling full-fledged extraction of articulated 3D objects from a single (real or synthetic) image when combined with an off-the-shelf image-to-3D generator. We further introduce a new challenging benchmark for 3D articulation estimation curated from high-quality public 3D assets, and redesign the evaluation protocol to be more consistent with human preferences. Quantitative and qualitative results show that Particulate significantly outperforms state-of-the-art approaches.

입자형: 피드포워드 3D 객체 관절화

Particulate: Feed-Forward 3D Object Articulation

초록

Support