Aus der Perspektive von LiDAR: Eine merkmalsangereicherte und unsicherheitsbewusste Annotationspipeline für die Segmentierung terrestrischer Punktwolken

Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation

October 8, 2025

papers.authors: Fei Zhang, Rob Chancia, Josie Clapp, Amirhossein Hassanzadeh, Dimah Dera, Richard MacKenzie, Jan van Aardt

cs.AI

papers.abstract

Eine präzise semantische Segmentierung von terrestrischen Laserscanning (TLS)-Punktwolken wird durch den aufwändigen manuellen Annotationsprozess eingeschränkt. Wir schlagen eine semi-automatisierte, unsicherheitsbewusste Pipeline vor, die sphärische Projektion, Merkmalsanreicherung, Ensemble-Lernen und gezielte Annotation integriert, um den Aufwand für die Beschriftung zu reduzieren, während eine hohe Genauigkeit erhalten bleibt. Unser Ansatz projiziert 3D-Punkte auf ein 2D-sphärisches Gitter, reichert Pixel mit Merkmalen aus mehreren Quellen an und trainiert ein Ensemble von Segmentierungsnetzwerken, um Pseudolabels und Unsicherheitskarten zu erzeugen, wobei Letztere die Annotation von mehrdeutigen Regionen leiten. Die 2D-Ergebnisse werden zurück in den 3D-Raum projiziert, wodurch dicht annotierte Punktwolken entstehen, die durch eine dreistufige Visualisierungssuite (2D-Merkmalskarten, 3D-farbige Punktwolken und kompakte virtuelle Sphären) unterstützt werden, um eine schnelle Priorisierung und Anleitung für den Prüfer zu ermöglichen. Mit dieser Pipeline erstellen wir Mangrove3D, ein semantisches Segmentierungs-TLS-Datensatz für Mangrovenwälder. Wir bewerten weiterhin die Dateneffizienz und die Bedeutung von Merkmalen, um zwei zentrale Fragen zu beantworten: (1) wie viele annotierte Scans benötigt werden und (2) welche Merkmale am wichtigsten sind. Die Ergebnisse zeigen, dass die Leistung nach ~12 annotierten Scans gesättigt ist, geometrische Merkmale den größten Beitrag leisten und kompakte Neun-Kanal-Stapel nahezu die gesamte diskriminative Kraft erfassen, wobei der mittlere Intersection-over-Union-Wert (mIoU) bei etwa 0,76 ein Plateau erreicht. Schließlich bestätigen wir die Generalisierbarkeit unserer Merkmalsanreicherungsstrategie durch Cross-Dataset-Tests auf ForestSemantic und Semantic3D. Unsere Beiträge umfassen: (i) eine robuste, unsicherheitsbewusste TLS-Annotationspipeline mit Visualisierungstools; (ii) den Mangrove3D-Datensatz; und (iii) empirische Leitlinien zur Dateneffizienz und Merkmalsbedeutung, wodurch eine skalierbare, hochwertige Segmentierung von TLS-Punktwolken für die ökologische Überwachung und darüber hinaus ermöglicht wird. Der Datensatz und die Verarbeitungsskripte sind öffentlich unter https://fz-rit.github.io/through-the-lidars-eye/ verfügbar.

English

Accurate semantic segmentation of terrestrial laser scanning (TLS) point clouds is limited by costly manual annotation. We propose a semi-automated, uncertainty-aware pipeline that integrates spherical projection, feature enrichment, ensemble learning, and targeted annotation to reduce labeling effort, while sustaining high accuracy. Our approach projects 3D points to a 2D spherical grid, enriches pixels with multi-source features, and trains an ensemble of segmentation networks to produce pseudo-labels and uncertainty maps, the latter guiding annotation of ambiguous regions. The 2D outputs are back-projected to 3D, yielding densely annotated point clouds supported by a three-tier visualization suite (2D feature maps, 3D colorized point clouds, and compact virtual spheres) for rapid triage and reviewer guidance. Using this pipeline, we build Mangrove3D, a semantic segmentation TLS dataset for mangrove forests. We further evaluate data efficiency and feature importance to address two key questions: (1) how much annotated data are needed and (2) which features matter most. Results show that performance saturates after ~12 annotated scans, geometric features contribute the most, and compact nine-channel stacks capture nearly all discriminative power, with the mean Intersection over Union (mIoU) plateauing at around 0.76. Finally, we confirm the generalization of our feature-enrichment strategy through cross-dataset tests on ForestSemantic and Semantic3D. Our contributions include: (i) a robust, uncertainty-aware TLS annotation pipeline with visualization tools; (ii) the Mangrove3D dataset; and (iii) empirical guidance on data efficiency and feature importance, thus enabling scalable, high-quality segmentation of TLS point clouds for ecological monitoring and beyond. The dataset and processing scripts are publicly available at https://fz-rit.github.io/through-the-lidars-eye/.