La traducción como acción puente: transferencia de habilidades de manipulación de humanos a robots

Resumen

Estudiamos si es posible aprender nuevas habilidades de manipulación a partir de acciones humanas para un robot bimanual con pinzas paralelas. Los datos de acciones humanas son económicos, abundantes y diversos, lo que los convierte en uno de los recursos más prometedores para escalar el aprendizaje robótico. Sin embargo, transferir habilidades de humanos a robots sigue siendo difícil: la mayoría de los trabajos previos tratan a los humanos como otro tipo de cuerpo bimanual de 6 grados de libertad, donde las estimaciones de la pose de la mano son ruidosas y los patrones de contacto de los dedos humanos difieren fundamentalmente de los de una pinza paralela. Argumentamos que aprender señales de acción que incluyan rotaciones a partir de datos humanos es, por lo tanto, subóptimo y, en su lugar, proponemos una representación de acción puente: la traslación relativa de la muñeca en el marco inicial de la cámara de la cabeza, un espacio de acción compartido por humanos y robots. Para manejar la posible ausencia de ciertos componentes de acción en diferentes cuerpos, construimos un modelo de visión-lenguaje-acción similar a π_0, con tokens de acción intercalados y enmascaramiento de atención. En un conjunto de nuevas tareas de manipulación bimanual, nuestra acción puente transfiere el conocimiento de manipulación humana a los robots de manera mucho más efectiva que las acciones humanas ruidosas de 6 grados de libertad y escala con la cantidad de datos humanos.

English

We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a π_0-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.