BeTAIL : Apprentissage par Imitation Adversarial avec Transformateur Comportemental à partir de Gameplay Humain dans les Courses

BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay

February 22, 2024

Auteurs: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan

cs.AI

Résumé

L'apprentissage par imitation permet d'acquérir une politique à partir de démonstrations sans nécessiter de fonctions de récompense conçues manuellement. Dans de nombreuses tâches robotiques, telles que la course automobile autonome, les politiques imitées doivent modéliser des dynamiques environnementales complexes ainsi que la prise de décision humaine. La modélisation séquentielle est très efficace pour capturer les motifs complexes des séquences de mouvement, mais elle peine à s'adapter à de nouveaux environnements ou aux décalages de distribution fréquents dans les tâches robotiques du monde réel. En revanche, l'apprentissage par imitation adversarial (AIL) peut atténuer cet effet, mais il souffre d'une inefficacité en termes d'échantillons et de difficultés à gérer des motifs de mouvement complexes. Ainsi, nous proposons BeTAIL : Behavior Transformer Adversarial Imitation Learning, qui combine une politique Behavior Transformer (BeT) issue de démonstrations humaines avec un AIL en ligne. BeTAIL ajoute une politique résiduelle AIL à la politique BeT pour modéliser le processus séquentiel de prise de décision des experts humains et corriger les états hors distribution ou les changements dans les dynamiques environnementales. Nous testons BeTAIL sur trois défis avec des démonstrations de niveau expert issues de parties réelles de Gran Turismo Sport. Notre approche résiduelle BeTAIL réduit les interactions avec l'environnement et améliore les performances et la stabilité en course, même lorsque le BeT est pré-entraîné sur des circuits différents de ceux utilisés pour l'apprentissage final. Vidéos et code disponibles à l'adresse : https://sites.google.com/berkeley.edu/BeTAIL/home.

English

Imitation learning learns a policy from demonstrations without requiring hand-designed reward functions. In many robotic tasks, such as autonomous racing, imitated policies must model complex environment dynamics and human decision-making. Sequence modeling is highly effective in capturing intricate patterns of motion sequences but struggles to adapt to new environments or distribution shifts that are common in real-world robotics tasks. In contrast, Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles with sample inefficiency and handling complex motion patterns. Thus, we propose BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a Behavior Transformer (BeT) policy from human demonstrations with online AIL. BeTAIL adds an AIL residual policy to the BeT policy to model the sequential decision-making process of human experts and correct for out-of-distribution states or shifts in environment dynamics. We test BeTAIL on three challenges with expert-level demonstrations of real human gameplay in Gran Turismo Sport. Our proposed residual BeTAIL reduces environment interactions and improves racing performance and stability, even when the BeT is pretrained on different tracks than downstream learning. Videos and code available at: https://sites.google.com/berkeley.edu/BeTAIL/home.