BeTAIL: Behavior Transformer Adversarial Imitation Learning aus menschlichem Rennspielverhalten
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
February 22, 2024
Autoren: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan
cs.AI
Zusammenfassung
Imitation Learning lernt eine Policy aus Demonstrationen, ohne dass manuell entworfene Belohnungsfunktionen erforderlich sind. Bei vielen robotischen Aufgaben, wie beispielsweise dem autonomen Rennsport, müssen imitierte Policies komplexe Umgebungsdynamiken und menschliche Entscheidungsprozesse modellieren. Sequence Modeling ist äußerst effektiv darin, komplexe Muster in Bewegungssequenzen zu erfassen, hat jedoch Schwierigkeiten, sich an neue Umgebungen oder Verteilungsverschiebungen anzupassen, die in realen robotischen Aufgaben häufig vorkommen. Im Gegensatz dazu kann Adversarial Imitation Learning (AIL) diesen Effekt mildern, kämpft jedoch mit Probenineffizienz und der Handhabung komplexer Bewegungsmuster. Daher schlagen wir BeTAIL vor: Behavior Transformer Adversarial Imitation Learning, das eine Behavior Transformer (BeT)-Policy aus menschlichen Demonstrationen mit online AIL kombiniert. BeTAIL fügt der BeT-Policy eine AIL-Residual-Policy hinzu, um den sequenziellen Entscheidungsprozess menschlicher Experten zu modellieren und Zustände außerhalb der Verteilung oder Verschiebungen in der Umgebungsdynamik zu korrigieren. Wir testen BeTAIL an drei Herausforderungen mit Experten-Demonstrationen von echtem menschlichem Gameplay in Gran Turismo Sport. Unsere vorgeschlagene Residual-BeTAIL reduziert die Interaktionen mit der Umgebung und verbessert die Rennleistung und Stabilität, selbst wenn die BeT auf anderen Strecken als das nachgelagerte Lernen vortrainiert wurde. Videos und Code sind verfügbar unter: https://sites.google.com/berkeley.edu/BeTAIL/home.
English
Imitation learning learns a policy from demonstrations without requiring
hand-designed reward functions. In many robotic tasks, such as autonomous
racing, imitated policies must model complex environment dynamics and human
decision-making. Sequence modeling is highly effective in capturing intricate
patterns of motion sequences but struggles to adapt to new environments or
distribution shifts that are common in real-world robotics tasks. In contrast,
Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles
with sample inefficiency and handling complex motion patterns. Thus, we propose
BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a
Behavior Transformer (BeT) policy from human demonstrations with online AIL.
BeTAIL adds an AIL residual policy to the BeT policy to model the sequential
decision-making process of human experts and correct for out-of-distribution
states or shifts in environment dynamics. We test BeTAIL on three challenges
with expert-level demonstrations of real human gameplay in Gran Turismo Sport.
Our proposed residual BeTAIL reduces environment interactions and improves
racing performance and stability, even when the BeT is pretrained on different
tracks than downstream learning. Videos and code available at:
https://sites.google.com/berkeley.edu/BeTAIL/home.