Kinematify: 고자유도 관절형 객체의 개방형 어휘 합성

초록

로봇이 물체를 조작하고 자신의 관절형 구조를 모델링하기 위해서는 운동학적 구조와 가동 부품에 대한 깊은 이해가 필수적입니다. 이러한 이해는 관절형 객체를 통해 구현되며, 물리 시뮬레이션, 운동 계획 수립, 정책 학습과 같은 작업에 핵심적입니다. 그러나 높은 자유도(DoF)를 가진 객체를 위한 이러한 모델 생성은 여전히 큰 과제로 남아 있습니다. 기존 방법론은 일반적으로 운동 연속 데이터나 수작업으로 구축된 데이터셋의 강력한 가정에 의존하여 확장성을 저해합니다. 본 논문에서는 임의의 RGB 이미지나 텍스트 설명에서 직접 관절형 객체를 합성하는 자동화 프레임워크인 Kinematify를 소개합니다. 우리의 방법은 (i) 높은 자유도를 가진 객체의 운동학적 토폴로지 추론과 (ii) 정적 기하학에서 관절 매개변수 추정이라는 두 가지 핵심 과제를 해결합니다. 이를 위해 구조 추론을 위한 MCTS 탐색과 관절 추론을 위한 기하학 기반 최적화를 결합하여 물리적으로 일관되고 기능적으로 유효한 설명을 생성합니다. Kinematify를 합성 및 실제 환경의 다양한 입력에 대해 평가하여, 기존 연구 대비 정합 및 운동학적 토폴로지 정확도에서의 향상을 입증합니다.

English

A deep understanding of kinematic structures and movable components is essential for enabling robots to manipulate objects and model their own articulated forms. Such understanding is captured through articulated objects, which are essential for tasks such as physical simulation, motion planning, and policy learning. However, creating these models, particularly for objects with high degrees of freedom (DoF), remains a significant challenge. Existing methods typically rely on motion sequences or strong assumptions from hand-curated datasets, which hinders scalability. In this paper, we introduce Kinematify, an automated framework that synthesizes articulated objects directly from arbitrary RGB images or textual descriptions. Our method addresses two core challenges: (i) inferring kinematic topologies for high-DoF objects and (ii) estimating joint parameters from static geometry. To achieve this, we combine MCTS search for structural inference with geometry-driven optimization for joint reasoning, producing physically consistent and functionally valid descriptions. We evaluate Kinematify on diverse inputs from both synthetic and real-world environments, demonstrating improvements in registration and kinematic topology accuracy over prior work.

Kinematify: 고자유도 관절형 객체의 개방형 어휘 합성

Kinematify: Open-Vocabulary Synthesis of High-DoF Articulated Objects

초록

Support