DragMesh-2: Fysiek plausibele behendige hand-object interactie met gearticuleerde objecten

Samenvatting

Behendige interactie met gelede objecten is belangrijk voor huishoudelijke, ondersteunende en humanoïde manipulatie, waarbij meervingerige handen conforme contactpatronen kunnen bieden die verder gaan dan parallele kaakgrepen. Manipulatie van gelede objecten verschilt echter van manipulatie van statische objecten: het doelonderdeel kan niet direct worden aangedreven en de beweging moet voortkomen uit aanhoudend fysiek hand–hendelcontact. Dit maakt de overgang van objectgerichte gelede generatie naar handgestuurde behendige hand–objectinteractie niet-triviaal, omdat het afspelen van geometrische trajecten of open-lusuitvoering de contactdynamica niet modelleert die nodig is om het gelede onderdeel te bewegen. Bovendien kunnen strategieën die alleen zijn getraind voor taakvoltooiing onder vaste dynamica overfitten op nominale contactbelastingen, vooral zonder tactiele of krachtterugkoppeling, en kunnen ze verslechteren wanneer de contactbelasting verandert. Om deze uitdagingen aan te pakken, presenteren we DragMesh-2, een contactgestuurd raamwerk voor behendige interactie met gelede objecten dat de gelede interactie uitbreidt van objectgerichte generatie naar handgestuurde behendige hand–objectinteractie, waarbij gelede beweging moet ontstaan door fysiek contact. We stellen verder PICA voor, een fysiek geïnformeerd contactbewust trainingsmechanisme dat fysieke signalen injecteert in het leren van strategieën zonder tactiele of krachtterugkoppeling, wat de robuustheid en het taaksucces verbetert onder veranderende contactbelastingen. Ten slotte voeren we een systematische evaluatie uit over meerdere dempingscondities en categorieën gelede objecten om de robuustheid onder variatie van contactbelasting te bestuderen, en bieden we een zuiver geometrische bron voor behendige interactie om toekomstig onderzoek naar loco-manipulatie en humanoïde hand–objectinteractie te ondersteunen. Over zeven GAPartNet-objecten heen bereikt DragMesh-2 een sterkere robuustheid onder variatie van contactbelasting dan de vergeleken methoden, terwijl het een hoog taaksucces behoudt over dempingscondities heen.

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.