BeTAIL: Aprendizaje por Imitación Adversarial con Transformador de Comportamiento a partir de Jugabilidad Humana en Carreras

BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay

February 22, 2024

Autores: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan

cs.AI

Resumen

El aprendizaje por imitación aprende una política a partir de demostraciones sin requerir funciones de recompensa diseñadas manualmente. En muchas tareas robóticas, como las carreras autónomas, las políticas imitadas deben modelar dinámicas ambientales complejas y la toma de decisiones humanas. El modelado de secuencias es altamente efectivo para capturar patrones intrincados en secuencias de movimiento, pero tiene dificultades para adaptarse a nuevos entornos o cambios en la distribución, que son comunes en tareas robóticas del mundo real. En contraste, el Aprendizaje por Imitación Adversarial (AIL, por sus siglas en inglés) puede mitigar este efecto, pero lucha con la ineficiencia de muestras y el manejo de patrones de movimiento complejos. Por lo tanto, proponemos BeTAIL: Aprendizaje por Imitación Adversarial con Transformador de Comportamiento, que combina una política de Transformador de Comportamiento (BeT, por sus siglas en inglés) a partir de demostraciones humanas con AIL en línea. BeTAIL añade una política residual de AIL a la política BeT para modelar el proceso secuencial de toma de decisiones de expertos humanos y corregir estados fuera de distribución o cambios en las dinámicas del entorno. Probamos BeTAIL en tres desafíos con demostraciones de nivel experto de partidas reales de humanos en Gran Turismo Sport. Nuestra propuesta residual de BeTAIL reduce las interacciones con el entorno y mejora el rendimiento y la estabilidad en las carreras, incluso cuando el BeT se entrena previamente en pistas diferentes a las del aprendizaje posterior. Videos y código disponibles en: https://sites.google.com/berkeley.edu/BeTAIL/home.

English

Imitation learning learns a policy from demonstrations without requiring hand-designed reward functions. In many robotic tasks, such as autonomous racing, imitated policies must model complex environment dynamics and human decision-making. Sequence modeling is highly effective in capturing intricate patterns of motion sequences but struggles to adapt to new environments or distribution shifts that are common in real-world robotics tasks. In contrast, Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles with sample inefficiency and handling complex motion patterns. Thus, we propose BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a Behavior Transformer (BeT) policy from human demonstrations with online AIL. BeTAIL adds an AIL residual policy to the BeT policy to model the sequential decision-making process of human experts and correct for out-of-distribution states or shifts in environment dynamics. We test BeTAIL on three challenges with expert-level demonstrations of real human gameplay in Gran Turismo Sport. Our proposed residual BeTAIL reduces environment interactions and improves racing performance and stability, even when the BeT is pretrained on different tracks than downstream learning. Videos and code available at: https://sites.google.com/berkeley.edu/BeTAIL/home.