BeTAIL: Behavior Transformer Adversaire Imitatieleren van Menselijk Racespelgedrag

BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay

February 22, 2024

Auteurs: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan

cs.AI

Samenvatting

Imitation learning leert een beleid aan de hand van demonstraties zonder dat handmatig ontworpen beloningsfuncties nodig zijn. Bij veel robotische taken, zoals autonoom racen, moeten geïmiteerde beleidsmodellen complexe omgevingsdynamiek en menselijke besluitvorming modelleren. Sequentiële modellering is zeer effectief in het vastleggen van ingewikkelde patronen in bewegingssequenties, maar heeft moeite om zich aan te passen aan nieuwe omgevingen of distributieverschuivingen die veel voorkomen in real-world robotische taken. Daarentegen kan Adversarial Imitation Learning (AIL) dit effect verminderen, maar worstelt het met sample-efficiëntie en het omgaan met complexe bewegingspatronen. Daarom stellen we BeTAIL voor: Behavior Transformer Adversarial Imitation Learning, dat een Behavior Transformer (BeT)-beleid op basis van menselijke demonstraties combineert met online AIL. BeTAIL voegt een AIL-residubeleid toe aan het BeT-beleid om het sequentiële besluitvormingsproces van menselijke experts te modelleren en te corrigeren voor out-of-distribution toestanden of verschuivingen in omgevingsdynamiek. We testen BeTAIL op drie uitdagingen met expertniveau-demonstraties van echt menselijk spel in Gran Turismo Sport. Ons voorgestelde residu-BeTAIL vermindert omgevingsinteracties en verbetert de raceprestaties en stabiliteit, zelfs wanneer de BeT vooraf is getraind op verschillende banen dan de downstream learning. Video's en code zijn beschikbaar op: https://sites.google.com/berkeley.edu/BeTAIL/home.

English

Imitation learning learns a policy from demonstrations without requiring hand-designed reward functions. In many robotic tasks, such as autonomous racing, imitated policies must model complex environment dynamics and human decision-making. Sequence modeling is highly effective in capturing intricate patterns of motion sequences but struggles to adapt to new environments or distribution shifts that are common in real-world robotics tasks. In contrast, Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles with sample inefficiency and handling complex motion patterns. Thus, we propose BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a Behavior Transformer (BeT) policy from human demonstrations with online AIL. BeTAIL adds an AIL residual policy to the BeT policy to model the sequential decision-making process of human experts and correct for out-of-distribution states or shifts in environment dynamics. We test BeTAIL on three challenges with expert-level demonstrations of real human gameplay in Gran Turismo Sport. Our proposed residual BeTAIL reduces environment interactions and improves racing performance and stability, even when the BeT is pretrained on different tracks than downstream learning. Videos and code available at: https://sites.google.com/berkeley.edu/BeTAIL/home.