BeTAIL: Поведенческий трансформер для обучения с подкреплением через состязательное имитационное обучение на основе игрового процесса в гоночных играх
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
February 22, 2024
Авторы: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan
cs.AI
Аннотация
Обучение с подражанием позволяет изучать политику на основе демонстраций, не требуя ручного проектирования функций вознаграждения. Во многих робототехнических задачах, таких как автономные гонки, имитируемые политики должны моделировать сложную динамику среды и принятие решений человеком. Моделирование последовательностей высокоэффективно для захвата сложных паттернов последовательностей движений, но испытывает трудности с адаптацией к новым средам или сдвигам распределения, которые часто встречаются в реальных робототехнических задачах. В отличие от этого, состязательное обучение с подражанием (Adversarial Imitation Learning, AIL) может смягчить этот эффект, но сталкивается с проблемой неэффективности выборок и обработки сложных паттернов движений. Таким образом, мы предлагаем BeTAIL: Behavior Transformer Adversarial Imitation Learning, который объединяет политику Behavior Transformer (BeT), обученную на демонстрациях человека, с онлайн AIL. BeTAIL добавляет остаточную политику AIL к политике BeT для моделирования последовательного процесса принятия решений экспертами-людьми и коррекции состояний, выходящих за пределы распределения, или сдвигов в динамике среды. Мы тестируем BeTAIL на трех задачах с демонстрациями уровня экспертов реального геймплея людей в Gran Turismo Sport. Наша предложенная остаточная BeTAIL сокращает взаимодействия со средой и улучшает производительность и стабильность гонок, даже когда BeT предварительно обучена на трассах, отличных от тех, что используются в последующем обучении. Видео и код доступны по адресу: https://sites.google.com/berkeley.edu/BeTAIL/home.
English
Imitation learning learns a policy from demonstrations without requiring
hand-designed reward functions. In many robotic tasks, such as autonomous
racing, imitated policies must model complex environment dynamics and human
decision-making. Sequence modeling is highly effective in capturing intricate
patterns of motion sequences but struggles to adapt to new environments or
distribution shifts that are common in real-world robotics tasks. In contrast,
Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles
with sample inefficiency and handling complex motion patterns. Thus, we propose
BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a
Behavior Transformer (BeT) policy from human demonstrations with online AIL.
BeTAIL adds an AIL residual policy to the BeT policy to model the sequential
decision-making process of human experts and correct for out-of-distribution
states or shifts in environment dynamics. We test BeTAIL on three challenges
with expert-level demonstrations of real human gameplay in Gran Turismo Sport.
Our proposed residual BeTAIL reduces environment interactions and improves
racing performance and stability, even when the BeT is pretrained on different
tracks than downstream learning. Videos and code available at:
https://sites.google.com/berkeley.edu/BeTAIL/home.