CaRL: Aprendizaje de políticas de planificación escalables con recompensas simples

Resumen

Investigamos el aprendizaje por refuerzo (RL) para la planificación privilegiada en la conducción autónoma. Los enfoques de vanguardia para esta tarea están basados en reglas, pero estos métodos no escalan bien a casos excepcionales. El RL, por otro lado, es escalable y no sufre de errores acumulativos como el aprendizaje por imitación. Los enfoques contemporáneos de RL para la conducción utilizan recompensas complejas que suman múltiples recompensas individuales, por ejemplo, recompensas por progreso, posición u orientación. Demostramos que PPO falla al optimizar una versión popular de estas recompensas cuando se aumenta el tamaño del mini-lote, lo que limita la escalabilidad de estos enfoques. En su lugar, proponemos un nuevo diseño de recompensa basado principalmente en optimizar un único término de recompensa intuitivo: la finalización de la ruta. Las infracciones se penalizan terminando el episodio o reduciendo multiplicativamente la finalización de la ruta. Encontramos que PPO escala bien con tamaños de mini-lote más grandes cuando se entrena con nuestra recompensa simple, incluso mejorando el rendimiento. El entrenamiento con tamaños grandes de mini-lote permite una escalabilidad eficiente mediante paralelismo de datos distribuido. Escalamos PPO a 300M muestras en CARLA y 500M muestras en nuPlan con un solo nodo de 8 GPUs. El modelo resultante alcanza 64 DS en el benchmark CARLA longest6 v2, superando a otros métodos de RL con recompensas más complejas por un amplio margen. Requiriendo solo adaptaciones mínimas desde su uso en CARLA, el mismo método es el mejor enfoque basado en aprendizaje en nuPlan. Obtiene 91.3 en tráfico no reactivo y 90.6 en tráfico reactivo en el benchmark Val14, siendo un orden de magnitud más rápido que trabajos previos.

English

We investigate reinforcement learning (RL) for privileged planning in autonomous driving. State-of-the-art approaches for this task are rule-based, but these methods do not scale to the long tail. RL, on the other hand, is scalable and does not suffer from compounding errors like imitation learning. Contemporary RL approaches for driving use complex shaped rewards that sum multiple individual rewards, \eg~progress, position, or orientation rewards. We show that PPO fails to optimize a popular version of these rewards when the mini-batch size is increased, which limits the scalability of these approaches. Instead, we propose a new reward design based primarily on optimizing a single intuitive reward term: route completion. Infractions are penalized by terminating the episode or multiplicatively reducing route completion. We find that PPO scales well with higher mini-batch sizes when trained with our simple reward, even improving performance. Training with large mini-batch sizes enables efficient scaling via distributed data parallelism. We scale PPO to 300M samples in CARLA and 500M samples in nuPlan with a single 8-GPU node. The resulting model achieves 64 DS on the CARLA longest6 v2 benchmark, outperforming other RL methods with more complex rewards by a large margin. Requiring only minimal adaptations from its use in CARLA, the same method is the best learning-based approach on nuPlan. It scores 91.3 in non-reactive and 90.6 in reactive traffic on the Val14 benchmark while being an order of magnitude faster than prior work.

CaRL: Aprendizaje de políticas de planificación escalables con recompensas simples

CaRL: Learning Scalable Planning Policies with Simple Rewards

Resumen

Support