Трансформер тела: использование роботизированного воплощения для обучения стратегиям

Body Transformer: Leveraging Robot Embodiment for Policy Learning

August 12, 2024

Авторы: Carmelo Sferrazza, Dun-Ming Huang, Fangchen Liu, Jongmin Lee, Pieter Abbeel

cs.AI

Аннотация

В последние годы архитектура трансформера стала фактическим стандартом для алгоритмов машинного обучения, применяемых в обработке естественного языка и компьютерного зрения. Несмотря на значительные доказательства успешного применения этой архитектуры в контексте обучения роботов, мы утверждаем, что обычные трансформеры не полностью используют структуру проблемы обучения роботов. Поэтому мы предлагаем Body Transformer (BoT), архитектуру, которая использует телесное воплощение робота, предоставляя индуктивный сдвиг, направляющий процесс обучения. Мы представляем тело робота как граф сенсоров и актуаторов и полагаемся на маскированное внимание для сбора информации по всей архитектуре. Результирующая архитектура превосходит обычный трансформер, а также классический многослойный персептрон, с точки зрения завершения задач, масштабируемости и вычислительной эффективности при представлении как имитационных, так и обучающих политик на основе обучения с подкреплением. Дополнительные материалы, включая открытый исходный код, доступны по адресу https://sferrazza.cc/bot_site.

English

In recent years, the transformer architecture has become the de facto standard for machine learning algorithms applied to natural language processing and computer vision. Despite notable evidence of successful deployment of this architecture in the context of robot learning, we claim that vanilla transformers do not fully exploit the structure of the robot learning problem. Therefore, we propose Body Transformer (BoT), an architecture that leverages the robot embodiment by providing an inductive bias that guides the learning process. We represent the robot body as a graph of sensors and actuators, and rely on masked attention to pool information throughout the architecture. The resulting architecture outperforms the vanilla transformer, as well as the classical multilayer perceptron, in terms of task completion, scaling properties, and computational efficiency when representing either imitation or reinforcement learning policies. Additional material including the open-source code is available at https://sferrazza.cc/bot_site.