BeTAIL: Aprendizaje por Imitación Adversarial con Transformador de Comportamiento a partir de Jugabilidad Humana en Carreras
BeTAIL: Behavior Transformer Adversarial Imitation Learning from Human Racing Gameplay
February 22, 2024
Autores: Catherine Weaver, Chen Tang, Ce Hao, Kenta Kawamoto, Masayoshi Tomizuka, Wei Zhan
cs.AI
Resumen
El aprendizaje por imitación aprende una política a partir de demostraciones sin requerir funciones de recompensa diseñadas manualmente. En muchas tareas robóticas, como las carreras autónomas, las políticas imitadas deben modelar dinámicas ambientales complejas y la toma de decisiones humanas. El modelado de secuencias es altamente efectivo para capturar patrones intrincados en secuencias de movimiento, pero tiene dificultades para adaptarse a nuevos entornos o cambios en la distribución, que son comunes en tareas robóticas del mundo real. En contraste, el Aprendizaje por Imitación Adversarial (AIL, por sus siglas en inglés) puede mitigar este efecto, pero lucha con la ineficiencia de muestras y el manejo de patrones de movimiento complejos. Por lo tanto, proponemos BeTAIL: Aprendizaje por Imitación Adversarial con Transformador de Comportamiento, que combina una política de Transformador de Comportamiento (BeT, por sus siglas en inglés) a partir de demostraciones humanas con AIL en línea. BeTAIL añade una política residual de AIL a la política BeT para modelar el proceso secuencial de toma de decisiones de expertos humanos y corregir estados fuera de distribución o cambios en las dinámicas del entorno. Probamos BeTAIL en tres desafíos con demostraciones de nivel experto de partidas reales de humanos en Gran Turismo Sport. Nuestra propuesta residual de BeTAIL reduce las interacciones con el entorno y mejora el rendimiento y la estabilidad en las carreras, incluso cuando el BeT se entrena previamente en pistas diferentes a las del aprendizaje posterior. Videos y código disponibles en: https://sites.google.com/berkeley.edu/BeTAIL/home.
English
Imitation learning learns a policy from demonstrations without requiring
hand-designed reward functions. In many robotic tasks, such as autonomous
racing, imitated policies must model complex environment dynamics and human
decision-making. Sequence modeling is highly effective in capturing intricate
patterns of motion sequences but struggles to adapt to new environments or
distribution shifts that are common in real-world robotics tasks. In contrast,
Adversarial Imitation Learning (AIL) can mitigate this effect, but struggles
with sample inefficiency and handling complex motion patterns. Thus, we propose
BeTAIL: Behavior Transformer Adversarial Imitation Learning, which combines a
Behavior Transformer (BeT) policy from human demonstrations with online AIL.
BeTAIL adds an AIL residual policy to the BeT policy to model the sequential
decision-making process of human experts and correct for out-of-distribution
states or shifts in environment dynamics. We test BeTAIL on three challenges
with expert-level demonstrations of real human gameplay in Gran Turismo Sport.
Our proposed residual BeTAIL reduces environment interactions and improves
racing performance and stability, even when the BeT is pretrained on different
tracks than downstream learning. Videos and code available at:
https://sites.google.com/berkeley.edu/BeTAIL/home.