CaRL : Apprentissage de politiques de planification évolutives avec des récompenses simples

Résumé

Nous étudions l'apprentissage par renforcement (RL) pour la planification privilégiée dans la conduite autonome. Les approches actuelles pour cette tâche sont basées sur des règles, mais ces méthodes ne s'adaptent pas bien aux cas marginaux. Le RL, en revanche, est évolutif et ne souffre pas des erreurs cumulatives comme l'apprentissage par imitation. Les approches contemporaines de RL pour la conduite utilisent des récompenses complexes qui combinent plusieurs récompenses individuelles, par exemple pour la progression, la position ou l'orientation. Nous montrons que PPO échoue à optimiser une version populaire de ces récompenses lorsque la taille des mini-lots est augmentée, ce qui limite l'évolutivité de ces approches. À la place, nous proposons une nouvelle conception de récompense basée principalement sur l'optimisation d'un seul terme de récompense intuitif : l'achèvement de l'itinéraire. Les infractions sont pénalisées en mettant fin à l'épisode ou en réduisant multiplicativement l'achèvement de l'itinéraire. Nous constatons que PPO s'adapte bien à des tailles de mini-lots plus élevées lorsqu'il est entraîné avec notre récompense simple, améliorant même les performances. L'entraînement avec de grands mini-lots permet une mise à l'échelle efficace via le parallélisme de données distribué. Nous avons mis à l'échelle PPO à 300 millions d'échantillons dans CARLA et 500 millions d'échantillons dans nuPlan avec un seul nœud à 8 GPU. Le modèle résultant atteint un score de 64 DS sur le benchmark CARLA longest6 v2, surpassant largement d'autres méthodes de RL avec des récompenses plus complexes. Ne nécessitant que des adaptations minimales par rapport à son utilisation dans CARLA, la même méthode est la meilleure approche basée sur l'apprentissage sur nuPlan. Elle obtient un score de 91,3 dans le trafic non réactif et 90,6 dans le trafic réactif sur le benchmark Val14, tout en étant un ordre de grandeur plus rapide que les travaux précédents.

English

We investigate reinforcement learning (RL) for privileged planning in autonomous driving. State-of-the-art approaches for this task are rule-based, but these methods do not scale to the long tail. RL, on the other hand, is scalable and does not suffer from compounding errors like imitation learning. Contemporary RL approaches for driving use complex shaped rewards that sum multiple individual rewards, \eg~progress, position, or orientation rewards. We show that PPO fails to optimize a popular version of these rewards when the mini-batch size is increased, which limits the scalability of these approaches. Instead, we propose a new reward design based primarily on optimizing a single intuitive reward term: route completion. Infractions are penalized by terminating the episode or multiplicatively reducing route completion. We find that PPO scales well with higher mini-batch sizes when trained with our simple reward, even improving performance. Training with large mini-batch sizes enables efficient scaling via distributed data parallelism. We scale PPO to 300M samples in CARLA and 500M samples in nuPlan with a single 8-GPU node. The resulting model achieves 64 DS on the CARLA longest6 v2 benchmark, outperforming other RL methods with more complex rewards by a large margin. Requiring only minimal adaptations from its use in CARLA, the same method is the best learning-based approach on nuPlan. It scores 91.3 in non-reactive and 90.6 in reactive traffic on the Val14 benchmark while being an order of magnitude faster than prior work.

CaRL : Apprentissage de politiques de planification évolutives avec des récompenses simples

CaRL: Learning Scalable Planning Policies with Simple Rewards

Résumé

Support