BeTAIL: Transformador de Comportamento para Aprendizado por Imitação Adversarial a partir de Jogos de Corrida Humanos

BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay

February 22, 2024

Autores: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan

cs.AI

Resumo

O aprendizado por imitação aprende uma política a partir de demonstrações sem exigir funções de recompensa projetadas manualmente. Em muitas tarefas robóticas, como corridas autônomas, as políticas imitadas devem modelar dinâmicas complexas do ambiente e a tomada de decisão humana. A modelagem de sequências é altamente eficaz em capturar padrões intrincados de sequências de movimento, mas luta para se adaptar a novos ambientes ou mudanças de distribuição que são comuns em tarefas robóticas do mundo real. Em contraste, o Aprendizado por Imitação Adversarial (AIL) pode mitigar esse efeito, mas enfrenta desafios com ineficiência de amostras e a manipulação de padrões de movimento complexos. Assim, propomos o BeTAIL: Behavior Transformer Adversarial Imitation Learning, que combina uma política Behavior Transformer (BeT) a partir de demonstrações humanas com AIL online. O BeTAIL adiciona uma política residual de AIL à política BeT para modelar o processo sequencial de tomada de decisão de especialistas humanos e corrigir estados fora da distribuição ou mudanças nas dinâmicas do ambiente. Testamos o BeTAIL em três desafios com demonstrações de nível especialista de jogabilidade humana real no Gran Turismo Sport. Nossa proposta residual BeTAIL reduz as interações com o ambiente e melhora o desempenho e a estabilidade nas corridas, mesmo quando o BeT é pré-treinado em pistas diferentes daquelas usadas no aprendizado subsequente. Vídeos e código disponíveis em: https://sites.google.com/berkeley.edu/BeTAIL/home.

English

Imitation learning learns a policy from demonstrations without requiring hand-designed reward functions. In many robotic tasks, such as autonomous racing, imitated policies must model complex environment dynamics and human decision-making. Sequence modeling is highly effective in capturing intricate patterns of motion sequences but struggles to adapt to new environments or distribution shifts that are common in real-world robotics tasks. In contrast, Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles with sample inefficiency and handling complex motion patterns. Thus, we propose BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a Behavior Transformer (BeT) policy from human demonstrations with online AIL. BeTAIL adds an AIL residual policy to the BeT policy to model the sequential decision-making process of human experts and correct for out-of-distribution states or shifts in environment dynamics. We test BeTAIL on three challenges with expert-level demonstrations of real human gameplay in Gran Turismo Sport. Our proposed residual BeTAIL reduces environment interactions and improves racing performance and stability, even when the BeT is pretrained on different tracks than downstream learning. Videos and code available at: https://sites.google.com/berkeley.edu/BeTAIL/home.