DragMesh-2: Interação Hábil Mão-Objeto Fisicamente Plausível com Objetos Articulados

Resumo

A interação hábil com objetos articulados é importante para a manipulação doméstica, assistiva e humanoide, onde mãos multifuncionais podem proporcionar padrões de contato complacentes além da apreensão com garras paralelas. No entanto, a manipulação de objetos articulados difere da manipulação de objetos estáticos: a parte-alvo não pode ser diretamente acionada, e seu movimento deve emergir através do contato físico sustentado entre a mão e o mecanismo de manuseio. Isso torna a transição da geração articulada centrada no objeto para a interação hábil mão–objeto acionada pela mão não trivial, uma vez que a reprodução geométrica de trajetórias ou a execução em malha aberta não modela a dinâmica de contato necessária para mover a parte articulada. Além disso, políticas treinadas apenas para a conclusão de tarefas sob dinâmicas fixas podem superajustar as cargas de contato nominais, especialmente na ausência de feedback tátil ou de força, e podem se degradar quando a carga de contato muda. Para enfrentar esses desafios, apresentamos o DragMesh-2, uma estrutura orientada por contato para interação hábil com objetos articulados que estende a interação articulada da geração centrada no objeto para a interação mão–objeto hábil acionada pela mão, onde o movimento articulado deve surgir através do contato físico. Propomos ainda o PICA, um mecanismo de treinamento fisicamente informado e ciente do contato que injeta sinais físicos no aprendizado de políticas sem feedback tátil ou de força, melhorando a robustez e o sucesso da tarefa sob cargas de contato variáveis. Finalmente, realizamos uma avaliação sistemática em múltiplas condições de amortecimento e categorias de objetos articulados para estudar a robustez sob variação da carga de contato, e fornecemos um recurso de interação hábil puramente geométrica para apoiar futuras pesquisas em locomanipulação e interação mão–objeto humanoide. Em sete objetos do GAPartNet, o DragMesh-2 alcança uma robustez mais forte sob variação da carga de contato em comparação com os métodos concorrentes, mantendo um alto sucesso na tarefa em todas as condições de amortecimento.

English

Dexterous interaction with articulated objects is important for household, assistive, and humanoid manipulation, where multi-finger hands can provide compliant contact patterns beyond parallel-jaw grasping. However, articulated-object manipulation differs from static-object manipulation: the target part cannot be directly actuated, and its motion must emerge through sustained physical hand--handle contact. This makes the transition from object-centric articulated generation to hand-driven dexterous hand--object interaction non-trivial, since geometric trajectory replay or open-loop execution does not model the contact dynamics required to move the articulated part. Moreover, policies trained only for task completion under fixed dynamics can overfit nominal contact loads, especially without tactile or force feedback, and may degrade when the contact load changes. To address these challenges, we present DragMesh-2, a contact-driven framework for dexterous interaction with articulated objects that extends articulated interaction from object-centric generation to hand-driven dexterous hand--object interaction, where articulated motion must arise through physical contact. We further propose PICA, a physically informed contact-aware training mechanism that injects physical signals into policy learning without tactile or force feedback, improving robustness and task success under changing contact loads. Finally, we conduct systematic evaluation across multiple damping conditions and articulated-object categories to study robustness under contact-load variation, and provide a pure-geometry dexterous interaction resource to support future loco-manipulation and humanoid hand--object interaction research. Across seven GAPartNet objects, DragMesh-2 achieves stronger robustness under contact-load variation than the compared methods while maintaining high task success across damping conditions.