Körper-Transformer: Nutzung der Roboter-Verkörperung für Richtlinienlernen

Body Transformer: Leveraging Robot Embodiment for Policy Learning

August 12, 2024

Autoren: Carmelo Sferrazza, Dun-Ming Huang, Fangchen Liu, Jongmin Lee, Pieter Abbeel

cs.AI

Zusammenfassung

In den letzten Jahren ist die Transformer-Architektur zum de facto Standard für maschinelles Lernen in der natürlichen Sprachverarbeitung und Computer Vision geworden. Trotz bemerkenswerter Belege für den erfolgreichen Einsatz dieser Architektur im Kontext des Roboterlernens behaupten wir, dass einfache Transformer die Struktur des Roboterlernproblems nicht vollständig nutzen. Daher schlagen wir den Body Transformer (BoT) vor, eine Architektur, die den Roboter-Körper nutzt, indem sie eine induktive Voreingenommenheit bereitstellt, die den Lernprozess lenkt. Wir stellen den Roboter-Körper als einen Graphen von Sensoren und Aktuatoren dar und verlassen uns auf maskierte Aufmerksamkeit, um Informationen über die gesamte Architektur hinweg zu sammeln. Die resultierende Architektur übertrifft den einfachen Transformer sowie den klassischen mehrschichtigen Perzeptron hinsichtlich Aufgabenerfüllung, Skalierungseigenschaften und Recheneffizienz bei der Darstellung von Imitations- oder Verstärkungslernrichtlinien. Zusätzliches Material einschließlich des Open-Source-Codes ist unter https://sferrazza.cc/bot_site verfügbar.

English

In recent years, the transformer architecture has become the de facto standard for machine learning algorithms applied to natural language processing and computer vision. Despite notable evidence of successful deployment of this architecture in the context of robot learning, we claim that vanilla transformers do not fully exploit the structure of the robot learning problem. Therefore, we propose Body Transformer (BoT), an architecture that leverages the robot embodiment by providing an inductive bias that guides the learning process. We represent the robot body as a graph of sensors and actuators, and rely on masked attention to pool information throughout the architecture. The resulting architecture outperforms the vanilla transformer, as well as the classical multilayer perceptron, in terms of task completion, scaling properties, and computational efficiency when representing either imitation or reinforcement learning policies. Additional material including the open-source code is available at https://sferrazza.cc/bot_site.