À travers la perspective du LiDAR : Un pipeline d'annotation enrichi en caractéristiques et conscient de l'incertitude pour la segmentation de nuages de points terrestres

Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation

October 8, 2025

papers.authors: Fei Zhang, Rob Chancia, Josie Clapp, Amirhossein Hassanzadeh, Dimah Dera, Richard MacKenzie, Jan van Aardt

cs.AI

papers.abstract

La segmentation sémantique précise des nuages de points issus de la numérisation laser terrestre (TLS) est limitée par le coût élevé de l'annotation manuelle. Nous proposons un pipeline semi-automatisé, prenant en compte l'incertitude, qui intègre la projection sphérique, l'enrichissement des caractéristiques, l'apprentissage par ensemble et l'annotation ciblée pour réduire l'effort d'étiquetage tout en maintenant une haute précision. Notre approche projette les points 3D sur une grille sphérique 2D, enrichit les pixels avec des caractéristiques multi-sources, et entraîne un ensemble de réseaux de segmentation pour produire des pseudo-labels et des cartes d'incertitude, ces dernières guidant l'annotation des régions ambiguës. Les sorties 2D sont rétroprojetées en 3D, produisant des nuages de points densément annotés, soutenus par une suite de visualisation à trois niveaux (cartes de caractéristiques 2D, nuages de points colorisés 3D et sphères virtuelles compactes) pour un triage rapide et un guidage du réviseur. En utilisant ce pipeline, nous construisons Mangrove3D, un ensemble de données de segmentation sémantique TLS pour les forêts de mangroves. Nous évaluons également l'efficacité des données et l'importance des caractéristiques pour répondre à deux questions clés : (1) quelle quantité de données annotées est nécessaire et (2) quelles caractéristiques sont les plus importantes. Les résultats montrent que la performance se stabilise après environ 12 scans annotés, les caractéristiques géométriques contribuent le plus, et des empilements compacts de neuf canaux capturent presque toute la puissance discriminative, avec l'Intersection sur Union moyenne (mIoU) atteignant un plateau autour de 0,76. Enfin, nous confirmons la généralisation de notre stratégie d'enrichissement des caractéristiques à travers des tests inter-datasets sur ForestSemantic et Semantic3D. Nos contributions incluent : (i) un pipeline robuste d'annotation TLS prenant en compte l'incertitude, accompagné d'outils de visualisation ; (ii) le dataset Mangrove3D ; et (iii) des recommandations empiriques sur l'efficacité des données et l'importance des caractéristiques, permettant ainsi une segmentation évolutive et de haute qualité des nuages de points TLS pour la surveillance écologique et au-delà. Le dataset et les scripts de traitement sont disponibles publiquement à l'adresse https://fz-rit.github.io/through-the-lidars-eye/.

English

Accurate semantic segmentation of terrestrial laser scanning (TLS) point clouds is limited by costly manual annotation. We propose a semi-automated, uncertainty-aware pipeline that integrates spherical projection, feature enrichment, ensemble learning, and targeted annotation to reduce labeling effort, while sustaining high accuracy. Our approach projects 3D points to a 2D spherical grid, enriches pixels with multi-source features, and trains an ensemble of segmentation networks to produce pseudo-labels and uncertainty maps, the latter guiding annotation of ambiguous regions. The 2D outputs are back-projected to 3D, yielding densely annotated point clouds supported by a three-tier visualization suite (2D feature maps, 3D colorized point clouds, and compact virtual spheres) for rapid triage and reviewer guidance. Using this pipeline, we build Mangrove3D, a semantic segmentation TLS dataset for mangrove forests. We further evaluate data efficiency and feature importance to address two key questions: (1) how much annotated data are needed and (2) which features matter most. Results show that performance saturates after ~12 annotated scans, geometric features contribute the most, and compact nine-channel stacks capture nearly all discriminative power, with the mean Intersection over Union (mIoU) plateauing at around 0.76. Finally, we confirm the generalization of our feature-enrichment strategy through cross-dataset tests on ForestSemantic and Semantic3D. Our contributions include: (i) a robust, uncertainty-aware TLS annotation pipeline with visualization tools; (ii) the Mangrove3D dataset; and (iii) empirical guidance on data efficiency and feature importance, thus enabling scalable, high-quality segmentation of TLS point clouds for ecological monitoring and beyond. The dataset and processing scripts are publicly available at https://fz-rit.github.io/through-the-lidars-eye/.