GET-Zero: 제로샷 체화 일반화를 위한 그래프 체화 트랜스포머

GET-Zero: Graph Embodiment Transformer for Zero-shot Embodiment Generalization

July 20, 2024

저자: Austin Patel, Shuran Song

cs.AI

초록

본 논문은 새로운 하드웨어 변경에 대해 재학습 없이 즉각적으로 적응할 수 있는 체화 인식 제어 정책을 학습하기 위한 모델 아키텍처 및 학습 절차인 GET-Zero를 소개합니다. 이를 위해, 우리는 체화 그래프 연결성을 어텐션 메커니즘에서 학습된 구조적 편향으로 활용하는 트랜스포머 모델인 Graph Embodiment Transformer(GET)를 제안합니다. 우리는 행동 복제를 사용하여 체화 특화 전문가 정책으로부터 얻은 시연 데이터를 로봇의 하드웨어 구성을 조건으로 하여 제어 결정을 내리는 체화 인식 GET 모델로 정제합니다. 우리는 관절이 제거되고 링크 길이가 연장된 4개의 손가락을 가진 로봇 손의 다양한 구성으로 정교한 손 내부 물체 회전 작업에 대한 사례 연구를 수행합니다. GET 모델과 자기 모델링 손실을 함께 사용하면 GET-Zero는 그래프 구조와 링크 길이의 보이지 않는 변형에 대해 제로샷 일반화가 가능하며, 이는 기준 방법 대비 20%의 성능 향상을 가져옵니다. 모든 코드와 질적 비디오 결과는 https://get-zero-paper.github.io에서 확인할 수 있습니다.

English

This paper introduces GET-Zero, a model architecture and training procedure for learning an embodiment-aware control policy that can immediately adapt to new hardware changes without retraining. To do so, we present Graph Embodiment Transformer (GET), a transformer model that leverages the embodiment graph connectivity as a learned structural bias in the attention mechanism. We use behavior cloning to distill demonstration data from embodiment-specific expert policies into an embodiment-aware GET model that conditions on the hardware configuration of the robot to make control decisions. We conduct a case study on a dexterous in-hand object rotation task using different configurations of a four-fingered robot hand with joints removed and with link length extensions. Using the GET model along with a self-modeling loss enables GET-Zero to zero-shot generalize to unseen variation in graph structure and link length, yielding a 20% improvement over baseline methods. All code and qualitative video results are on https://get-zero-paper.github.io