바디 트랜스포머: 정책 학습을 위한 로봇 신체 활용

Body Transformer: Leveraging Robot Embodiment for Policy Learning

August 12, 2024

저자: Carmelo Sferrazza, Dun-Ming Huang, Fangchen Liu, Jongmin Lee, Pieter Abbeel

cs.AI

초록

최근 몇 년간 트랜스포머 아키텍처는 자연어 처리와 컴퓨터 비전에 적용된 기계 학습 알고리즘의 사실상 표준이 되었습니다. 로봇 학습의 맥락에서 이 아키텍처의 성공적인 적용에 대한 현저한 증거가 있음에도 불구하고, 우리는 일반적인 트랜스포머가 로봇 학습 문제의 구조를 완전히 활용하지 못한다고 주장합니다. 따라서 우리는 Body Transformer (BoT)라는 아키텍처를 제안합니다. 이 아키텍처는 로봇의 구체성을 활용하여 학습 프로세스를 안내하는 귀납적 편향을 제공합니다. 우리는 로봇 몸체를 센서와 액추에이터의 그래프로 표현하고, 마스크된 어텐션을 활용하여 아키텍처 전체에 걸쳐 정보를 풀링합니다. 이러한 결과 아키텍처는 일반적인 트랜스포머뿐만 아니라 고전적인 다층 퍼셉트론에 비해 과제 완료, 확장 특성 및 계산 효율성 측면에서 더 우수한 성능을 보입니다. 또한 모방 또는 강화 학습 정책을 표현할 때 오픈 소스 코드를 포함한 추가 자료는 https://sferrazza.cc/bot_site에서 제공됩니다.

English

In recent years, the transformer architecture has become the de facto standard for machine learning algorithms applied to natural language processing and computer vision. Despite notable evidence of successful deployment of this architecture in the context of robot learning, we claim that vanilla transformers do not fully exploit the structure of the robot learning problem. Therefore, we propose Body Transformer (BoT), an architecture that leverages the robot embodiment by providing an inductive bias that guides the learning process. We represent the robot body as a graph of sensors and actuators, and rely on masked attention to pool information throughout the architecture. The resulting architecture outperforms the vanilla transformer, as well as the classical multilayer perceptron, in terms of task completion, scaling properties, and computational efficiency when representing either imitation or reinforcement learning policies. Additional material including the open-source code is available at https://sferrazza.cc/bot_site.