CaRL: Skalierbare Planungsstrategien mit einfachen Belohnungen lernen

Zusammenfassung

Wir untersuchen Reinforcement Learning (RL) für privilegierte Planung im autonomen Fahren. State-of-the-Art-Ansätze für diese Aufgabe sind regelbasiert, aber diese Methoden skalieren nicht für den langen Schwanz. RL hingegen ist skalierbar und leidet nicht unter sich verstärkenden Fehlern wie Imitationslernen. Zeitgenössische RL-Ansätze für das Fahren verwenden komplex geformte Belohnungen, die mehrere individuelle Belohnungen summieren, z.B. Fortschritts-, Positions- oder Orientierungsbelohnungen. Wir zeigen, dass PPO eine beliebte Version dieser Belohnungen nicht optimiert, wenn die Mini-Batch-Größe erhöht wird, was die Skalierbarkeit dieser Ansätze einschränkt. Stattdessen schlagen wir ein neues Belohnungsdesign vor, das hauptsächlich auf der Optimierung eines einzigen intuitiven Belohnungsterms basiert: Routenabschluss. Verstöße werden durch das Beenden der Episode oder durch eine multiplikative Reduzierung des Routenabschlusses bestraft. Wir stellen fest, dass PPO mit höheren Mini-Batch-Größen gut skaliert, wenn es mit unserer einfachen Belohnung trainiert wird, und sogar die Leistung verbessert. Das Training mit großen Mini-Batch-Größen ermöglicht eine effiziente Skalierung durch verteilte Datenparallelität. Wir skalieren PPO auf 300M Samples in CARLA und 500M Samples in nuPlan mit einem einzigen 8-GPU-Knoten. Das resultierende Modell erreicht 64 DS im CARLA longest6 v2 Benchmark und übertrifft andere RL-Methoden mit komplexeren Belohnungen deutlich. Mit nur minimalen Anpassungen gegenüber seiner Verwendung in CARLA ist dieselbe Methode der beste lernbasierte Ansatz auf nuPlan. Sie erzielt 91,3 im nicht-reaktiven und 90,6 im reaktiven Verkehr im Val14-Benchmark und ist dabei eine Größenordnung schneller als frühere Arbeiten.

English

We investigate reinforcement learning (RL) for privileged planning in autonomous driving. State-of-the-art approaches for this task are rule-based, but these methods do not scale to the long tail. RL, on the other hand, is scalable and does not suffer from compounding errors like imitation learning. Contemporary RL approaches for driving use complex shaped rewards that sum multiple individual rewards, \eg~progress, position, or orientation rewards. We show that PPO fails to optimize a popular version of these rewards when the mini-batch size is increased, which limits the scalability of these approaches. Instead, we propose a new reward design based primarily on optimizing a single intuitive reward term: route completion. Infractions are penalized by terminating the episode or multiplicatively reducing route completion. We find that PPO scales well with higher mini-batch sizes when trained with our simple reward, even improving performance. Training with large mini-batch sizes enables efficient scaling via distributed data parallelism. We scale PPO to 300M samples in CARLA and 500M samples in nuPlan with a single 8-GPU node. The resulting model achieves 64 DS on the CARLA longest6 v2 benchmark, outperforming other RL methods with more complex rewards by a large margin. Requiring only minimal adaptations from its use in CARLA, the same method is the best learning-based approach on nuPlan. It scores 91.3 in non-reactive and 90.6 in reactive traffic on the Val14 benchmark while being an order of magnitude faster than prior work.

CaRL: Skalierbare Planungsstrategien mit einfachen Belohnungen lernen

CaRL: Learning Scalable Planning Policies with Simple Rewards

Zusammenfassung

Support