BeTAIL: Apprendimento per Imitazione Adversariale con Trasformatore Comportamentale da Gameplay Umano nei Giochi di Corse

BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay

February 22, 2024

Autori: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan

cs.AI

Abstract

L'apprendimento per imitazione acquisisce una politica a partire da dimostrazioni senza richiedere funzioni di ricompensa progettate manualmente. In molti compiti robotici, come la guida autonoma, le politiche imitate devono modellare dinamiche ambientali complesse e processi decisionali umani. La modellazione sequenziale è altamente efficace nel catturare schemi intricati di sequenze di movimento, ma fatica ad adattarsi a nuovi ambienti o a cambiamenti di distribuzione, comuni nei compiti robotici del mondo reale. Al contrario, l'Apprendimento per Imitazione Adversarial (AIL) può mitigare questo effetto, ma presenta difficoltà con l'inefficienza campionaria e la gestione di schemi di movimento complessi. Pertanto, proponiamo BeTAIL: Behavior Transformer Adversarial Imitation Learning, che combina una politica Behavior Transformer (BeT) derivata da dimostrazioni umane con AIL online. BeTAIL aggiunge una politica residua AIL alla politica BeT per modellare il processo decisionale sequenziale degli esperti umani e correggere stati fuori distribuzione o cambiamenti nelle dinamiche ambientali. Testiamo BeTAIL su tre sfide con dimostrazioni di livello esperto di gameplay umano reale in Gran Turismo Sport. La nostra proposta residua BeTAIL riduce le interazioni con l'ambiente e migliora le prestazioni e la stabilità nella guida, anche quando il BeT è pre-addestrato su piste diverse rispetto all'apprendimento successivo. Video e codice disponibili su: https://sites.google.com/berkeley.edu/BeTAIL/home.

English

Imitation learning learns a policy from demonstrations without requiring hand-designed reward functions. In many robotic tasks, such as autonomous racing, imitated policies must model complex environment dynamics and human decision-making. Sequence modeling is highly effective in capturing intricate patterns of motion sequences but struggles to adapt to new environments or distribution shifts that are common in real-world robotics tasks. In contrast, Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles with sample inefficiency and handling complex motion patterns. Thus, we propose BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a Behavior Transformer (BeT) policy from human demonstrations with online AIL. BeTAIL adds an AIL residual policy to the BeT policy to model the sequential decision-making process of human experts and correct for out-of-distribution states or shifts in environment dynamics. We test BeTAIL on three challenges with expert-level demonstrations of real human gameplay in Gran Turismo Sport. Our proposed residual BeTAIL reduces environment interactions and improves racing performance and stability, even when the BeT is pretrained on different tracks than downstream learning. Videos and code available at: https://sites.google.com/berkeley.edu/BeTAIL/home.