HUGSIM: Een real-time, fotorealistische en gesloten-lus simulator voor autonoom rijden.

HUGSIM: A Real-Time, Photo-Realistic and Closed-Loop Simulator for Autonomous Driving

December 2, 2024

Auteurs: Hongyu Zhou, Longzhong Lin, Jiabao Wang, Yichong Lu, Dongfeng Bai, Bingbing Liu, Yue Wang, Andreas Geiger, Yiyi Liao

cs.AI

Samenvatting

In de afgelopen decennia hebben autonome rijalgoritmes aanzienlijke vooruitgang geboekt op het gebied van perceptie, planning en controle. Echter, het evalueren van individuele componenten weerspiegelt niet volledig de prestaties van hele systemen, wat de noodzaak benadrukt voor meer holistische beoordelingsmethoden. Dit motiveert de ontwikkeling van HUGSIM, een gesloten-lus, fotorealistische en real-time simulator voor het evalueren van autonome rijalgoritmes. Dit wordt bereikt door 2D RGB-beelden om te zetten naar de 3D-ruimte via 3D Gaussian Splatting, wat de renderkwaliteit verbetert voor gesloten-lus scenario's, en door het bouwen van de gesloten-lus omgeving. Wat betreft rendering, pakken we uitdagingen aan van nieuwe weergavesynthese in gesloten-lus scenario's, inclusief gezichtspuntextrapolatie en 360-graden voertuigrendering. Naast nieuwe weergavesynthese maakt HUGSIM verder de volledige gesloten simulatielus mogelijk, waarbij de ego- en actortoestanden en -waarnemingen dynamisch worden bijgewerkt op basis van besturingsopdrachten. Bovendien biedt HUGSIM een uitgebreide benchmark over meer dan 70 sequenties van KITTI-360, Waymo, nuScenes en PandaSet, samen met meer dan 400 variërende scenario's, wat een eerlijk en realistisch evaluatieplatform biedt voor bestaande autonome rijalgoritmes. HUGSIM dient niet alleen als een intuïtieve evaluatiebenchmark, maar ontsluit ook het potentieel voor het verfijnen van autonome rijalgoritmes in een fotorealistische gesloten-lus omgeving.

English

In the past few decades, autonomous driving algorithms have made significant progress in perception, planning, and control. However, evaluating individual components does not fully reflect the performance of entire systems, highlighting the need for more holistic assessment methods. This motivates the development of HUGSIM, a closed-loop, photo-realistic, and real-time simulator for evaluating autonomous driving algorithms. We achieve this by lifting captured 2D RGB images into the 3D space via 3D Gaussian Splatting, improving the rendering quality for closed-loop scenarios, and building the closed-loop environment. In terms of rendering, We tackle challenges of novel view synthesis in closed-loop scenarios, including viewpoint extrapolation and 360-degree vehicle rendering. Beyond novel view synthesis, HUGSIM further enables the full closed simulation loop, dynamically updating the ego and actor states and observations based on control commands. Moreover, HUGSIM offers a comprehensive benchmark across more than 70 sequences from KITTI-360, Waymo, nuScenes, and PandaSet, along with over 400 varying scenarios, providing a fair and realistic evaluation platform for existing autonomous driving algorithms. HUGSIM not only serves as an intuitive evaluation benchmark but also unlocks the potential for fine-tuning autonomous driving algorithms in a photorealistic closed-loop setting.