Transformador Corporal: Aprovechando la Encarnación del Robot para el Aprendizaje de Políticas

Body Transformer: Leveraging Robot Embodiment for Policy Learning

August 12, 2024

Autores: Carmelo Sferrazza, Dun-Ming Huang, Fangchen Liu, Jongmin Lee, Pieter Abbeel

cs.AI

Resumen

En los últimos años, la arquitectura transformer se ha convertido en el estándar de facto para los algoritmos de aprendizaje automático aplicados al procesamiento del lenguaje natural y la visión por computadora. A pesar de la evidencia notable de la implementación exitosa de esta arquitectura en el contexto del aprendizaje de robots, sostenemos que los transformers básicos no explotan completamente la estructura del problema de aprendizaje de robots. Por lo tanto, proponemos el Body Transformer (BoT), una arquitectura que aprovecha la encarnación del robot al proporcionar un sesgo inductivo que guía el proceso de aprendizaje. Representamos el cuerpo del robot como un grafo de sensores y actuadores, y confiamos en la atención enmascarada para reunir información en toda la arquitectura. La arquitectura resultante supera al transformer básico, así como a la perceptrón multicapa clásico, en cuanto a la finalización de tareas, propiedades de escalado y eficiencia computacional al representar políticas de aprendizaje por imitación o refuerzo. Material adicional, incluido el código de código abierto, está disponible en https://sferrazza.cc/bot_site.

English

In recent years, the transformer architecture has become the de facto standard for machine learning algorithms applied to natural language processing and computer vision. Despite notable evidence of successful deployment of this architecture in the context of robot learning, we claim that vanilla transformers do not fully exploit the structure of the robot learning problem. Therefore, we propose Body Transformer (BoT), an architecture that leverages the robot embodiment by providing an inductive bias that guides the learning process. We represent the robot body as a graph of sensors and actuators, and rely on masked attention to pool information throughout the architecture. The resulting architecture outperforms the vanilla transformer, as well as the classical multilayer perceptron, in terms of task completion, scaling properties, and computational efficiency when representing either imitation or reinforcement learning policies. Additional material including the open-source code is available at https://sferrazza.cc/bot_site.