DragMesh-2: 관절 물체와의 물리적으로 타당한 정교한 손-물체 상호작용

초록

관절체와의 정교한 상호작용은 가정용, 보조용 및 휴머노이드 조작에서 중요하며, 다지 손은 평행 조 파지(parallel-jaw grasping)를 넘어 순응적 접촉 패턴을 제공할 수 있다. 그러나 관절체 조작은 정적 물체 조작과 다르다. 대상 부품을 직접 구동할 수 없으며, 그 움직임은 지속적인 물리적 손-핸들 접촉을 통해 발생해야 한다. 이로 인해 물체 중심의 관절 생성(object-centric articulated generation)에서 손 기반의 정교한 손-물체 상호작용(hand-driven dexterous hand–object interaction)으로의 전환은 간단하지 않다. 기하학적 궤적 재생이나 개방 루프 실행은 관절 부품을 움직이는 데 필요한 접촉 동역학을 모델링하지 않기 때문이다. 더욱이 고정된 동역학 하에서 작업 완료만을 위해 훈련된 정책은 공칭 접촉 하중에 과적합될 수 있으며, 특히 촉각이나 힘 피드백이 없는 경우 접촉 하중이 변할 때 성능이 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 관절체와의 정교한 상호작용을 위한 접촉 기반 프레임워크인 DragMesh-2를 제시한다. 이는 관절 상호작용을 물체 중심 생성에서 물리적 접촉을 통해 관절 움직임이 발생해야 하는 손 기반의 정교한 손-물체 상호작용으로 확장한다. 또한, 물리 정보를 활용한 접촉 인지 훈련 메커니즘인 PICA(Physically Informed Contact-Aware training mechanism)를 제안한다. 이는 촉각이나 힘 피드백 없이 정책 학습에 물리적 신호를 주입하여 접촉 하중 변화 하에서 강건성과 작업 성공률을 향상시킨다. 마지막으로, 다양한 감쇠 조건과 관절체 범주에 걸쳐 체계적인 평가를 수행하여 접촉 하중 변화에 따른 강건성을 연구하고, 향후 보행-조작(loco-manipulation) 및 휴머노이드 손-물체 상호작용 연구를 지원하기 위한 순수 기하학적 정교한 상호작용 리소스를 제공한다. 7개의 GAPartNet 객체에 대해 DragMesh-2는 감쇠 조건 전반에서 높은 작업 성공률을 유지하면서 접촉 하중 변화 하에서 비교 방법보다 더 강력한 강건성을 달성한다.

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.