연결 행위로서의 번역: 인간에서 로봇으로의 조작 기술 전이

초록

우리는 평행 그리퍼를 장착한 양팔 로봇이 인간의 행동으로부터 새로운 조작 기술을 학습할 수 있는지 연구한다. 인간 행동 데이터는 저렴하고 풍부하며 다양하여 로봇 학습을 확장하기 위한 가장 유망한 자원 중 하나이다. 그러나 인간에서 로봇으로 기술을 전이하는 것은 여전히 어렵다. 대부분의 선행 연구는 인간을 또 다른 6자유도 양팔 구현체로 간주하는데, 이 경우 손 자세 추정치에 노이즈가 많고 인간 손가락의 접촉 패턴이 평행 그리퍼와 근본적으로 다르다. 따라서 인간 데이터로부터 회전을 포함하는 행동 신호를 학습하는 것은 차선책이라고 주장하며, 대신 초기 머리 카메라 프레임 내 상대적 손목 병진 운동이라는 브리징 행동 표현을 제안한다. 이는 인간과 로봇이 공유하는 행동 공간이다. 서로 다른 구현체에서 특정 행동 구성 요소가 부재할 가능성을 처리하기 위해, 인터리브된 행동 토큰과 어텐션 마스킹을 갖춘 π_0 유사 비전-언어-행동 모델을 구축한다. 새로운 양팔 조작 과제군에서, 우리의 브리징 행동은 노이즈가 많은 6자유도 인간 행동보다 훨씬 효과적으로 인간 조작 지식을 로봇에 전이하며, 인간 데이터 양에 따라 확장된다.

English

We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a π_0-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.