BeTAIL: 人間のレースゲームプレイからの行動トランスフォーマー敵対的模倣学習

BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay

February 22, 2024

著者: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan

cs.AI

要旨

模倣学習は、手動で設計された報酬関数を必要とせずに、デモンストレーションからポリシーを学習します。多くのロボットタスク、例えば自律レースにおいて、模倣されたポリシーは複雑な環境ダイナミクスと人間の意思決定をモデル化する必要があります。シーケンスモデリングは、運動シーケンスの複雑なパターンを捉えるのに非常に効果的ですが、現実世界のロボットタスクで一般的な新しい環境や分布シフトに適応するのが困難です。一方、敵対的模倣学習（AIL）はこの効果を緩和できますが、サンプル効率の低さや複雑な運動パターンの扱いに苦労します。そこで、我々はBeTAIL: Behavior Transformer Adversarial Imitation Learningを提案します。これは、人間のデモンストレーションから得られたBehavior Transformer（BeT）ポリシーとオンラインAILを組み合わせたものです。BeTAILは、BeTポリシーにAIL残差ポリシーを追加し、人間の専門家の逐次的意思決定プロセスをモデル化し、分布外の状態や環境ダイナミクスのシフトを補正します。我々は、Gran Turismo Sportにおける実際の人間のゲームプレイのエキスパートレベルのデモンストレーションを用いて、BeTAILを3つの課題でテストしました。提案された残差BeTAILは、環境との相互作用を減らし、レースのパフォーマンスと安定性を向上させ、BeTが下流学習とは異なるトラックで事前学習されていた場合でも効果を発揮しました。動画とコードは以下で公開しています: https://sites.google.com/berkeley.edu/BeTAIL/home。

English

Imitation learning learns a policy from demonstrations without requiring hand-designed reward functions. In many robotic tasks, such as autonomous racing, imitated policies must model complex environment dynamics and human decision-making. Sequence modeling is highly effective in capturing intricate patterns of motion sequences but struggles to adapt to new environments or distribution shifts that are common in real-world robotics tasks. In contrast, Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles with sample inefficiency and handling complex motion patterns. Thus, we propose BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a Behavior Transformer (BeT) policy from human demonstrations with online AIL. BeTAIL adds an AIL residual policy to the BeT policy to model the sequential decision-making process of human experts and correct for out-of-distribution states or shifts in environment dynamics. We test BeTAIL on three challenges with expert-level demonstrations of real human gameplay in Gran Turismo Sport. Our proposed residual BeTAIL reduces environment interactions and improves racing performance and stability, even when the BeT is pretrained on different tracks than downstream learning. Videos and code available at: https://sites.google.com/berkeley.edu/BeTAIL/home.