DragMesh-2: 物理的に妥当な関節物体との巧みな手-物体インタラクション

要旨

多関節物体との巧みなインタラクションは、家庭用、介助用、およびヒューマノイドのマニピュレーションにおいて重要であり、多指ハンドは平行ジョー把持を超えたコンプライアントな接触パターンを提供できる。しかし、多関節物体のマニピュレーションは静的な物体のマニピュレーションとは異なる。すなわち、対象部品を直接駆動することはできず、その動作は手とハンドルとの持続的な物理的接触を通じて生じなければならない。このため、物体中心の関節動作生成から手駆動の巧みな手-物体インタラクションへの移行は容易ではない。なぜなら、幾何学的な軌道の再生や開ループ実行では、関節部品を動かすために必要な接触ダイナミクスをモデル化できないからである。さらに、固定されたダイナミクスの下でタスク完了のみを目的として訓練されたポリシーは、特に触覚または力覚フィードバックがない場合に公称接触荷重に過適合し、接触荷重が変化した際に性能が低下する可能性がある。これらの課題に対処するため、我々はDragMesh-2を提案する。これは多関節物体との巧みなインタラクションのための接触駆動フレームワークであり、関節動作を物体中心の生成から、関節運動が物理的接触を通じて生じなければならない手駆動の巧みな手-物体インタラクションへと拡張する。さらに、我々はPICAを提案する。これは物理知識に基づく接触認識訓練メカニズムであり、触覚または力覚フィードバックなしで物理的信号をポリシー学習に注入し、変化する接触荷重下でのロバスト性とタスク成功率を向上させる。最後に、我々は複数の減衰条件と多関節物体カテゴリにわたる系統的評価を行い、接触荷重変動下でのロバスト性を調査し、将来の移動操作やヒューマノイドの手-物体インタラクション研究を支援するための純幾何学的な巧みなインタラクションリソースを提供する。7つのGAPartNet物体において、DragMesh-2は比較手法よりも接触荷重変動下でのロバスト性が強く、かつ減衰条件全体で高いタスク成功率を維持する。

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.