Translation als Brückenschlag: Übertragung von Manipulationsfähigkeiten vom Menschen auf Roboter

Zusammenfassung

Wir untersuchen, ob neuartige Manipulationsfähigkeiten von menschlichen Aktionen auf einen zweihändigen Roboter mit Parallelgreifern übertragen werden können. Menschliche Aktionsdaten sind kostengünstig, reichhaltig und vielfältig, was sie zu einer der vielversprechendsten Ressourcen für die Skalierung des Roboterlernens macht. Dennoch bleibt die Übertragung von Fähigkeiten vom Menschen auf Roboter schwierig: Die meisten bisherigen Arbeiten behandeln den Menschen lediglich als eine weitere zweihändige 6-Freiheitsgrade-Verkörperung, bei der Handposenschätzungen verrauscht sind und sich die Kontaktmuster menschlicher Finger grundlegend von denen eines Parallelgreifers unterscheiden. Wir argumentieren, dass das Erlernen rotationsinklusiver Aktionssignale aus menschlichen Daten daher suboptimal ist, und schlagen stattdessen eine überbrückende Aktionsrepräsentation vor: die relative Handgelenkstranslation innerhalb des anfänglichen Kopfkamerabildes, einen Aktionsraum, der Menschen und Robotern gemeinsam ist. Um das potenzielle Fehlen bestimmter Aktionskomponenten in unterschiedlichen Verkörperungen zu bewältigen, entwickeln wir ein π_0-ähnliches Visuell-Sprach-Aktionsmodell mit verschachtelten Aktions-Tokens und Aufmerksamkeitsmaskierung. Bei einer Reihe neuartiger zweihändiger Manipulationsaufgaben überträgt unsere überbrückende Aktion menschliches Manipulationswissen weitaus effektiver auf Roboter als verrauschte 6-Freiheitsgrade-menschliche Aktionen und skaliert mit der Menge menschlicher Daten.

English

We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a π_0-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.