La traduction en tant qu'action de pontage : transfert de compétences de manipulation des humains aux robots

Résumé

Nous étudions la possibilité d'apprendre de nouvelles compétences de manipulation à partir d'actions humaines pour un robot bimanuel équipé de préhenseurs parallèles. Les données d'action humaine sont peu coûteuses, abondantes et diversifiées, ce qui en fait l'une des ressources les plus prometteuses pour passer à l'échelle dans l'apprentissage robotique. Pourtant, transférer des compétences des humains aux robots reste difficile : la plupart des travaux antérieurs traitent les humains comme une autre incarnation bimanuelle à 6 degrés de liberté (6DoF), où les estimations de pose de la main sont bruitées et où les motifs de contact des doigts humains diffèrent fondamentalement de ceux d'un préhenseur parallèle. Nous soutenons qu'apprendre des signaux d'action incluant la rotation à partir de données humaines est donc sous-optimal, et proposons plutôt une représentation d'action de pont : la translation relative du poignet dans le repère initial de la caméra de tête, un espace d'action partagé par les humains et les robots. Pour gérer l'absence potentielle de certaines composantes d'action dans différentes incarnations, nous construisons un modèle vision-langage-action de type π₀ avec des jetons d'action entrelacés et un masquage d'attention. Sur un ensemble de nouvelles tâches de manipulation bimanuelle, notre action de pont transfère les connaissances de manipulation humaine aux robots bien plus efficacement que les actions humaines bruitées à 6DoF et passe à l'échelle avec la quantité de données humaines.

English

We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a π_0-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.