CaRL: Aprendendo Políticas de Planejamento Escaláveis com Recompensas Simples

Resumo

Investigamos o aprendizado por reforço (RL) para planejamento privilegiado em direção autônoma. As abordagens de ponta para essa tarefa são baseadas em regras, mas esses métodos não escalam para a longa cauda. O RL, por outro lado, é escalável e não sofre com erros compostos como o aprendizado por imitação. As abordagens contemporâneas de RL para direção usam recompensas complexas que somam múltiplas recompensas individuais, por exemplo, recompensas de progresso, posição ou orientação. Mostramos que o PPO falha em otimizar uma versão popular dessas recompensas quando o tamanho do mini-lote é aumentado, o que limita a escalabilidade dessas abordagens. Em vez disso, propomos um novo design de recompensa baseado principalmente na otimização de um único termo de recompensa intuitivo: conclusão da rota. Infrações são penalizadas terminando o episódio ou reduzindo multiplicativamente a conclusão da rota. Descobrimos que o PPO escala bem com tamanhos maiores de mini-lote quando treinado com nossa recompensa simples, até mesmo melhorando o desempenho. O treinamento com grandes mini-lotes permite uma escalabilidade eficiente via paralelismo de dados distribuído. Escalamos o PPO para 300M de amostras no CARLA e 500M de amostras no nuPlan com um único nó de 8 GPUs. O modelo resultante alcança 64 DS no benchmark CARLA longest6 v2, superando outros métodos de RL com recompensas mais complexas por uma grande margem. Exigindo apenas adaptações mínimas de seu uso no CARLA, o mesmo método é a melhor abordagem baseada em aprendizado no nuPlan. Ele pontua 91,3 em tráfego não reativo e 90,6 em tráfego reativo no benchmark Val14, sendo uma ordem de magnitude mais rápido que trabalhos anteriores.

English

We investigate reinforcement learning (RL) for privileged planning in autonomous driving. State-of-the-art approaches for this task are rule-based, but these methods do not scale to the long tail. RL, on the other hand, is scalable and does not suffer from compounding errors like imitation learning. Contemporary RL approaches for driving use complex shaped rewards that sum multiple individual rewards, \eg~progress, position, or orientation rewards. We show that PPO fails to optimize a popular version of these rewards when the mini-batch size is increased, which limits the scalability of these approaches. Instead, we propose a new reward design based primarily on optimizing a single intuitive reward term: route completion. Infractions are penalized by terminating the episode or multiplicatively reducing route completion. We find that PPO scales well with higher mini-batch sizes when trained with our simple reward, even improving performance. Training with large mini-batch sizes enables efficient scaling via distributed data parallelism. We scale PPO to 300M samples in CARLA and 500M samples in nuPlan with a single 8-GPU node. The resulting model achieves 64 DS on the CARLA longest6 v2 benchmark, outperforming other RL methods with more complex rewards by a large margin. Requiring only minimal adaptations from its use in CARLA, the same method is the best learning-based approach on nuPlan. It scores 91.3 in non-reactive and 90.6 in reactive traffic on the Val14 benchmark while being an order of magnitude faster than prior work.

CaRL: Aprendendo Políticas de Planejamento Escaláveis com Recompensas Simples

CaRL: Learning Scalable Planning Policies with Simple Rewards

Resumo

Support