DragMesh-2: Physikalisch plausible geschickte Hand-Objekt-Interaktion mit artikulierten Objekten

Zusammenfassung

Die geschickte Interaktion mit artikulierten Objekten ist wichtig für die Haushalts-, Assistenz- und Humanoide-Manipulation, wobei Mehrfingerhände konforme Kontaktmuster über das Parallelbackengreifen hinaus ermöglichen können. Die Manipulation artikulierter Objekte unterscheidet sich jedoch von der Manipulation statischer Objekte: Das Zielteil kann nicht direkt betätigt werden, und seine Bewegung muss durch anhaltenden physischen Hand-Griff-Kontakt entstehen. Dies macht den Übergang von der objektzentrierten artikulierten Generierung zur handgesteuerten geschickten Hand-Objekt-Interaktion nicht trivial, da die geometrische Trajektorienwiedergabe oder die offene Ausführung nicht die Kontaktdynamik modelliert, die zur Bewegung des artikulierten Teils erforderlich ist. Darüber hinaus können Policies, die nur für die Aufgabenabschluss unter festen Dynamiken trainiert wurden, zu einer Überanpassung an nominelle Kontaktbelastungen führen, insbesondere ohne taktile oder Kraftrückmeldung, und sich verschlechtern, wenn sich die Kontaktbelastung ändert. Um diese Herausforderungen zu bewältigen, präsentieren wir DragMesh-2, ein kontaktgesteuertes Framework für die geschickte Interaktion mit artikulierten Objekten, das die artikulierte Interaktion von der objektzentrierten Generierung auf die handgesteuerte geschickte Hand-Objekt-Interaktion erweitert, wobei die artikulierte Bewegung durch physischen Kontakt entstehen muss. Wir schlagen weiterhin PICA vor, einen physikalisch informierten kontaktbewussten Trainingsmechanismus, der physikalische Signale in das Policy-Lernen einbringt, ohne auf taktile oder Kraftrückmeldung angewiesen zu sein, und die Robustheit und den Aufgabenerfolg unter sich ändernden Kontaktbelastungen verbessert. Schließlich führen wir eine systematische Evaluierung über mehrere Dämpfungsbedingungen und Kategorien artikulierter Objekte hinweg durch, um die Robustheit unter Kontaktlastvariation zu untersuchen, und stellen eine rein geometrische Ressource für die geschickte Interaktion bereit, die zukünftige Forschung zur Lokomotions-Manipulation und humanoide Hand-Objekt-Interaktion unterstützt. Über sieben GAPartNet-Objekte hinweg erreicht DragMesh-2 eine stärkere Robustheit unter Kontaktlastvariation als die verglichenen Methoden, während eine hohe Aufgabenabschlussrate über die Dämpfungsbedingungen hinweg beibehalten wird.

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.