DragMesh-2 : Interaction main-objet dextre physiquement plausible avec des objets articulés

Résumé

L'interaction dextre avec des objets articulés est cruciale pour la manipulation domestique, d'assistance et humanoïde, où les mains multifonctions peuvent offrir des motifs de contact conformes au-delà de la simple préhension par mâchoires parallèles. Cependant, la manipulation d'objets articulés diffère de celle d'objets statiques : la pièce cible ne peut pas être actionnée directement, et son mouvement doit émerger d'un contact physique soutenu entre la main et la poignée. Cela rend complexe la transition de la génération articulée centrée sur l'objet vers une interaction dextre main-objet pilotée par la main, car la relecture de trajectoire géométrique ou l'exécution en boucle ouverte ne modélise pas la dynamique de contact nécessaire pour déplacer la partie articulée. De plus, les politiques entraînées uniquement pour l'accomplissement de tâches sous une dynamique fixe peuvent surajuster les charges de contact nominales, surtout en l'absence de retour tactile ou de force, et se dégrader lorsque la charge de contact change. Pour relever ces défis, nous présentons DragMesh-2, un cadre centré sur le contact pour l'interaction dextre avec des objets articulés, qui étend l'interaction articulée de la génération centrée sur l'objet à l'interaction dextre main-objet pilotée par la main, où le mouvement articulé doit résulter d'un contact physique. Nous proposons également PICA, un mécanisme d'entraînement informé physiquement et sensible au contact, qui injecte des signaux physiques dans l'apprentissage des politiques sans retour tactile ou de force, améliorant ainsi la robustesse et le succès des tâches sous des charges de contact variables. Enfin, nous menons une évaluation systématique sur plusieurs conditions d'amortissement et catégories d'objets articulés pour étudier la robustesse face aux variations de charge de contact, et fournissons une ressource d'interaction dextre purement géométrique pour soutenir les futures recherches en manipulation locomotrice et interaction main-objet humanoïde. Sur sept objets GAPartNet, DragMesh-2 atteint une robustesse plus forte sous variation de charge de contact que les méthodes comparées, tout en maintenant un taux de succès élevé dans les conditions d'amortissement.

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.