DragMesh-2: Interacción diestra mano-objeto físicamente plausible con objetos articulados

Resumen

La interacción diestra con objetos articulados es importante para la manipulación doméstica, asistencial y humanoide, donde las manos multifalángicas pueden proporcionar patrones de contacto conformables más allá de la sujeción con pinzas paralelas. Sin embargo, la manipulación de objetos articulados difiere de la manipulación de objetos estáticos: la pieza objetivo no puede ser accionada directamente, y su movimiento debe surgir a través de un contacto físico sostenido entre la mano y el asa. Esto hace que la transición de la generación articulada centrada en el objeto a la interacción diestra mano-objeto impulsada por la mano no sea trivial, ya que la reproducción de trayectorias geométricas o la ejecución en bucle abierto no modela la dinámica de contacto necesaria para mover la pieza articulada. Además, las políticas entrenadas únicamente para la finalización de tareas bajo dinámicas fijas pueden sobreajustarse a las cargas de contacto nominales, especialmente sin retroalimentación táctil o de fuerza, y pueden degradarse cuando la carga de contacto cambia. Para abordar estos desafíos, presentamos DragMesh-2, un marco impulsado por el contacto para la interacción diestra con objetos articulados que extiende la interacción articulada desde la generación centrada en el objeto hasta la interacción diestra mano-objeto impulsada por la mano, donde el movimiento articulado debe surgir a través del contacto físico. Proponemos además PICA, un mecanismo de entrenamiento consciente del contacto informado físicamente que inyecta señales físicas en el aprendizaje de políticas sin retroalimentación táctil o de fuerza, mejorando la robustez y el éxito de la tarea bajo cargas de contacto cambiantes. Finalmente, realizamos una evaluación sistemática en múltiples condiciones de amortiguamiento y categorías de objetos articulados para estudiar la robustez bajo variación de la carga de contacto, y proporcionamos un recurso de interacción diestra de geometría pura para apoyar futuras investigaciones en manipulación locomotora e interacción mano-objeto humanoide. En siete objetos de GAPartNet, DragMesh-2 logra una robustez más fuerte bajo variación de la carga de contacto en comparación con los métodos evaluados, manteniendo un alto éxito de tarea en todas las condiciones de amortiguamiento.

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.