Transformador Corporal: Aproveitando a Incorporação do Robô para Aprendizado de Políticas

Body Transformer: Leveraging Robot Embodiment for Policy Learning

August 12, 2024

Autores: Carmelo Sferrazza, Dun-Ming Huang, Fangchen Liu, Jongmin Lee, Pieter Abbeel

cs.AI

Resumo

Nos últimos anos, a arquitetura transformer tornou-se o padrão de facto para algoritmos de aprendizado de máquina aplicados ao processamento de linguagem natural e visão computacional. Apesar de evidências notáveis da implementação bem-sucedida dessa arquitetura no contexto do aprendizado de robôs, afirmamos que os transformers convencionais não exploram totalmente a estrutura do problema de aprendizado do robô. Portanto, propomos o Body Transformer (BoT), uma arquitetura que aproveita a incorporação do robô fornecendo um viés indutivo que orienta o processo de aprendizado. Representamos o corpo do robô como um grafo de sensores e atuadores, e dependemos da atenção mascarada para agrupar informações ao longo da arquitetura. A arquitetura resultante supera o transformer convencional, bem como o perceptron multicamadas clássico, em termos de conclusão de tarefas, propriedades de dimensionamento e eficiência computacional ao representar políticas de aprendizado por imitação ou reforço. Material adicional, incluindo o código aberto, está disponível em https://sferrazza.cc/bot_site.

English

In recent years, the transformer architecture has become the de facto standard for machine learning algorithms applied to natural language processing and computer vision. Despite notable evidence of successful deployment of this architecture in the context of robot learning, we claim that vanilla transformers do not fully exploit the structure of the robot learning problem. Therefore, we propose Body Transformer (BoT), an architecture that leverages the robot embodiment by providing an inductive bias that guides the learning process. We represent the robot body as a graph of sensors and actuators, and rely on masked attention to pool information throughout the architecture. The resulting architecture outperforms the vanilla transformer, as well as the classical multilayer perceptron, in terms of task completion, scaling properties, and computational efficiency when representing either imitation or reinforcement learning policies. Additional material including the open-source code is available at https://sferrazza.cc/bot_site.