Apprendre à identifier les objets hors distribution pour la segmentation d'anomalies en LiDAR 3D

Résumé

Comprendre l'environnement est fondamental pour la conduite autonome et la perception robotique. Distinguer les classes connues des objets non vus auparavant est crucial dans des environnements réels, comme le fait la segmentation d'anomalies. Cependant, la recherche dans le domaine 3D reste limitée, la plupart des approches existantes appliquant des techniques de post-traitement issues de la vision 2D. Pour combler ce manque, nous proposons une nouvelle approche efficace qui opère directement dans l'espace des caractéristiques, en modélisant la distribution des caractéristiques des classes inliers pour contraindre les échantillons anomaliques. De plus, le seul jeu de données public de segmentation d'anomalies 3D par LiDAR contient des scénarios simples, avec peu d'instances anomaliques, et présente un écart de domaine important dû à la résolution de son capteur. Pour combler cet écart, nous introduisons un ensemble de jeux de données mixtes réel-synthétique pour la segmentation d'anomalies 3D par LiDAR, construits à partir de benchmarks établis en segmentation sémantique, comprenant de multiples objets hors distribution et des environnements divers et complexes. Des expériences approfondies démontrent que notre approche obtient des résultats à l'état de l'art et compétitifs respectivement sur le jeu de données réel existant et sur les nouveaux jeux de données mixtes, validant ainsi l'efficacité de notre méthode et l'utilité des jeux de données proposés. Le code et les jeux de données sont disponibles à l'adresse https://simom0.github.io/lido-page/.

English

Understanding the surrounding environment is fundamental in autonomous driving and robotic perception. Distinguishing between known classes and previously unseen objects is crucial in real-world environments, as done in Anomaly Segmentation. However, research in the 3D field remains limited, with most existing approaches applying post-processing techniques from 2D vision. To cover this lack, we propose a new efficient approach that directly operates in the feature space, modeling the feature distribution of inlier classes to constrain anomalous samples. Moreover, the only publicly available 3D LiDAR anomaly segmentation dataset contains simple scenarios, with few anomaly instances, and exhibits a severe domain gap due to its sensor resolution. To bridge this gap, we introduce a set of mixed real-synthetic datasets for 3D LiDAR anomaly segmentation, built upon established semantic segmentation benchmarks, with multiple out-of-distribution objects and diverse, complex environments. Extensive experiments demonstrate that our approach achieves state-of-the-art and competitive results on the existing real-world dataset and the newly introduced mixed datasets, respectively, validating the effectiveness of our method and the utility of the proposed datasets. Code and datasets are available at https://simom0.github.io/lido-page/.