DragMesh-2: Физически правдоподобное ловкое взаимодействие руки с сочлененными объектами

Аннотация

Ловкое взаимодействие с сочлененными объектами важно для бытовой, вспомогательной и человекоподобной манипуляции, где многопальцевые руки могут обеспечивать податливые контактные схемы, выходящие за рамки захвата параллельными губками. Однако манипуляция сочлененными объектами отличается от манипуляции статическими объектами: целевая часть не может быть непосредственно приведена в действие, а ее движение должно возникать за счет устойчивого физического контакта «рука—ручка». Это делает переход от объектно-центрированной генерации сочлененных движений к управляемому рукой ловкому взаимодействию руки с объектом нетривиальным, поскольку воспроизведение геометрической траектории или выполнение по разомкнутому циклу не моделирует контактную динамику, необходимую для перемещения сочлененной части. Кроме того, политики, обученные только на завершение задачи при фиксированной динамике, могут переобучаться на номинальные контактные нагрузки, особенно при отсутствии тактильной или силовой обратной связи, и ухудшаться при изменении контактной нагрузки. Для решения этих проблем мы представляем DragMesh-2 — контактно-ориентированную структуру для ловкого взаимодействия с сочлененными объектами, которая расширяет сочлененное взаимодействие от объектно-центрированной генерации до управляемого рукой ловкого взаимодействия руки с объектом, где сочлененное движение должно возникать через физический контакт. Мы также предлагаем PICA — физически информированный механизм обучения с учетом контакта, который внедряет физические сигналы в обучение политики без тактильной или силовой обратной связи, повышая устойчивость и успешность выполнения задачи при изменяющихся контактных нагрузках. Наконец, мы проводим систематическую оценку в нескольких условиях демпфирования и категориях сочлененных объектов для изучения устойчивости к изменению контактной нагрузки, а также предоставляем ресурс для ловкого взаимодействия на основе чистой геометрии для поддержки будущих исследований в области локомоции-манипуляции и взаимодействия человекоподобной руки с объектом. Для семи объектов из набора GAPartNet DragMesh-2 демонстрирует более высокую устойчивость к изменению контактной нагрузки по сравнению с конкурирующими методами, сохраняя при этом высокий уровень успешности задач в различных условиях демпфирования.

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.