Body Transformer: Benutten van Robotlichaam voor Beleidsleren

Body Transformer: Leveraging Robot Embodiment for Policy Learning

August 12, 2024

Auteurs: Carmelo Sferrazza, Dun-Ming Huang, Fangchen Liu, Jongmin Lee, Pieter Abbeel

cs.AI

Samenvatting

In de afgelopen jaren is de transformer-architectuur de facto standaard geworden voor machine learning-algoritmen die worden toegepast op natuurlijke taalverwerking en computervisie. Ondanks opmerkelijke bewijzen van succesvolle inzet van deze architectuur in de context van robotleren, stellen wij dat standaardtransformers de structuur van het robotleren-probleem niet volledig benutten. Daarom stellen wij de Body Transformer (BoT) voor, een architectuur die gebruikmaakt van de robotembodiment door een inductieve bias te bieden die het leerproces begeleidt. Wij representeren het robotlichaam als een grafiek van sensoren en actuatoren en vertrouwen op gemaskeerde aandacht om informatie door de architectuur heen te poolen. De resulterende architectuur presteert beter dan de standaardtransformer, evenals het klassieke meerlaagse perceptron, wat betreft taakvoltooiing, schaalbaarheidseigenschappen en computationele efficiëntie bij het representeren van imitatie- of reinforcement learning-beleidsregels. Aanvullend materiaal, inclusief de open-source code, is beschikbaar op https://sferrazza.cc/bot_site.

English

In recent years, the transformer architecture has become the de facto standard for machine learning algorithms applied to natural language processing and computer vision. Despite notable evidence of successful deployment of this architecture in the context of robot learning, we claim that vanilla transformers do not fully exploit the structure of the robot learning problem. Therefore, we propose Body Transformer (BoT), an architecture that leverages the robot embodiment by providing an inductive bias that guides the learning process. We represent the robot body as a graph of sensors and actuators, and rely on masked attention to pool information throughout the architecture. The resulting architecture outperforms the vanilla transformer, as well as the classical multilayer perceptron, in terms of task completion, scaling properties, and computational efficiency when representing either imitation or reinforcement learning policies. Additional material including the open-source code is available at https://sferrazza.cc/bot_site.