HUGSIM : un simulateur en temps réel, photoréaliste et en boucle fermée pour la conduite autonome

HUGSIM: A Real-Time, Photo-Realistic and Closed-Loop Simulator for Autonomous Driving

December 2, 2024

Auteurs: Hongyu Zhou, Longzhong Lin, Jiabao Wang, Yichong Lu, Dongfeng Bai, Bingbing Liu, Yue Wang, Andreas Geiger, Yiyi Liao

cs.AI

Résumé

Au cours des dernières décennies, les algorithmes de conduite autonome ont réalisé des progrès significatifs en matière de perception, de planification et de contrôle. Cependant, l'évaluation des composants individuels ne reflète pas pleinement les performances des systèmes entiers, soulignant ainsi le besoin de méthodes d'évaluation plus holistiques. Cela motive le développement de HUGSIM, un simulateur en boucle fermée, photoréaliste et en temps réel pour évaluer les algorithmes de conduite autonome. Nous y parvenons en transformant les images 2D RVB capturées dans l'espace 3D via le Splatting gaussien en 3D, améliorant ainsi la qualité de rendu pour les scénarios en boucle fermée, et en construisant l'environnement en boucle fermée. En termes de rendu, nous relevons les défis de la synthèse de nouvelles vues dans les scénarios en boucle fermée, y compris l'extrapolation du point de vue et le rendu des véhicules à 360 degrés. Au-delà de la synthèse de nouvelles vues, HUGSIM permet en outre la boucle de simulation complète, mettant à jour dynamiquement les états et observations de l'ego et des acteurs en fonction des commandes de contrôle. De plus, HUGSIM propose un benchmark complet sur plus de 70 séquences provenant de KITTI-360, Waymo, nuScenes et PandaSet, ainsi que plus de 400 scénarios variés, offrant une plateforme d'évaluation équitable et réaliste pour les algorithmes de conduite autonome existants. HUGSIM ne sert pas seulement de référence d'évaluation intuitive, mais ouvre également la voie à l'optimisation des algorithmes de conduite autonome dans un environnement en boucle fermée photoréaliste.

English

In the past few decades, autonomous driving algorithms have made significant progress in perception, planning, and control. However, evaluating individual components does not fully reflect the performance of entire systems, highlighting the need for more holistic assessment methods. This motivates the development of HUGSIM, a closed-loop, photo-realistic, and real-time simulator for evaluating autonomous driving algorithms. We achieve this by lifting captured 2D RGB images into the 3D space via 3D Gaussian Splatting, improving the rendering quality for closed-loop scenarios, and building the closed-loop environment. In terms of rendering, We tackle challenges of novel view synthesis in closed-loop scenarios, including viewpoint extrapolation and 360-degree vehicle rendering. Beyond novel view synthesis, HUGSIM further enables the full closed simulation loop, dynamically updating the ego and actor states and observations based on control commands. Moreover, HUGSIM offers a comprehensive benchmark across more than 70 sequences from KITTI-360, Waymo, nuScenes, and PandaSet, along with over 400 varying scenarios, providing a fair and realistic evaluation platform for existing autonomous driving algorithms. HUGSIM not only serves as an intuitive evaluation benchmark but also unlocks the potential for fine-tuning autonomous driving algorithms in a photorealistic closed-loop setting.