ChatPaper.aiChatPaper

Hacia la Manipulación Robótica Diestra Consciente de la Afordancia con Prioridades de Tipo Humano

Towards Affordance-Aware Robotic Dexterous Grasping with Human-like Priors

August 12, 2025
Autores: Haoyu Zhao, Linghao Zhuang, Xingyue Zhao, Cheng Zeng, Haoran Xu, Yuming Jiang, Jun Cen, Kexiang Wang, Jiayan Guo, Siteng Huang, Xin Li, Deli Zhao, Hua Zou
cs.AI

Resumen

Una mano diestra capaz de agarrar objetos de manera generalizable es fundamental para el desarrollo de IA encarnada de propósito general. Sin embargo, los métodos anteriores se centran de manera limitada en métricas de estabilidad de agarre de bajo nivel, descuidando el posicionamiento consciente de las posibilidades de acción y las posturas similares a las humanas, que son cruciales para la manipulación posterior. Para abordar estas limitaciones, proponemos AffordDex, un marco novedoso con entrenamiento en dos etapas que aprende una política de agarre universal con una comprensión inherente tanto de los antecedentes de movimiento como de las posibilidades de acción de los objetos. En la primera etapa, un imitador de trayectorias se pre-entrena en un gran corpus de movimientos de manos humanas para inculcar un fuerte antecedente de movimiento natural. En la segunda etapa, un módulo residual se entrena para adaptar estos movimientos generales similares a los humanos a instancias específicas de objetos. Este refinamiento está críticamente guiado por dos componentes: nuestro módulo de Segmentación Consciente de Posibilidades de Acción Negativas (NAA), que identifica regiones de contacto funcionalmente inapropiadas, y un proceso de destilación privilegiado entre maestro y estudiante que asegura que la política final basada en visión sea altamente exitosa. Experimentos extensos demuestran que AffordDex no solo logra un agarre diestro universal, sino que también mantiene posturas notablemente similares a las humanas y es funcionalmente apropiado en la ubicación del contacto. Como resultado, AffordDex supera significativamente a los baselines de última generación en objetos vistos, instancias no vistas e incluso categorías completamente nuevas.
English
A dexterous hand capable of generalizable grasping objects is fundamental for the development of general-purpose embodied AI. However, previous methods focus narrowly on low-level grasp stability metrics, neglecting affordance-aware positioning and human-like poses which are crucial for downstream manipulation. To address these limitations, we propose AffordDex, a novel framework with two-stage training that learns a universal grasping policy with an inherent understanding of both motion priors and object affordances. In the first stage, a trajectory imitator is pre-trained on a large corpus of human hand motions to instill a strong prior for natural movement. In the second stage, a residual module is trained to adapt these general human-like motions to specific object instances. This refinement is critically guided by two components: our Negative Affordance-aware Segmentation (NAA) module, which identifies functionally inappropriate contact regions, and a privileged teacher-student distillation process that ensures the final vision-based policy is highly successful. Extensive experiments demonstrate that AffordDex not only achieves universal dexterous grasping but also remains remarkably human-like in posture and functionally appropriate in contact location. As a result, AffordDex significantly outperforms state-of-the-art baselines across seen objects, unseen instances, and even entirely novel categories.
PDF102August 13, 2025