Перенос как связующее действие: передача навыков манипуляции от человека к роботам

Аннотация

Мы изучаем возможность обучения новым манипуляционным навыкам на основе действий человека для двуручного робота с параллельными захватами. Данные о действиях человека дешевы, многочисленны и разнообразны, что делает их одним из наиболее перспективных ресурсов для масштабирования обучения роботов. Однако перенос навыков от человека к роботам остается сложной задачей: большинство предыдущих работ рассматривают человека как еще один двуручный объект с 6 степенями свободы, где оценки положения рук зашумлены, а паттерны контакта человеческих пальцев принципиально отличаются от таковых у параллельного захвата. Мы утверждаем, что обучение сигналам действий, включающим вращение, на основе данных человека является субоптимальным, и вместо этого предлагаем промежуточное представление действий: относительное перемещение запястья в системе отсчета начальной камеры на голове — пространство действий, общее для человека и роботов. Для обработки потенциального отсутствия определенных компонентов действий в разных воплощениях мы строим модель «зрение-язык-действие», подобную π₀, с чередующимися токенами действий и маскировкой внимания. На наборе новых двуручных манипуляционных задач наше промежуточное представление действий передает манипуляционные знания от человека к роботам гораздо эффективнее, чем зашумленные 6-степенные действия человека, и масштабируется с увеличением объема данных о человеке.

English

We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a π_0-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.