Door de lens van LiDAR: Een functie-verrijkt en onzekerheidsbewust annotatiepijplijn voor segmentatie van terrestrische puntenwolken

Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation

October 8, 2025

Auteurs: Fei Zhang, Rob Chancia, Josie Clapp, Amirhossein Hassanzadeh, Dimah Dera, Richard MacKenzie, Jan van Aardt

cs.AI

Samenvatting

Nauwkeurige semantische segmentatie van terrestrische laserscanning (TLS) puntenwolken wordt beperkt door kostbare handmatige annotatie. Wij stellen een semi-geautomatiseerde, onzekerheidsbewuste pipeline voor die sferische projectie, feature-verrijking, ensemble learning en gerichte annotatie integreert om de labelinspanning te verminderen, terwijl een hoge nauwkeurigheid behouden blijft. Onze aanzicht projecteert 3D-punten naar een 2D-sferisch raster, verrijkt pixels met multi-source features, en traint een ensemble van segmentatienetwerken om pseudo-labels en onzekerheidskaarten te produceren, waarbij de laatste de annotatie van ambigue regio's begeleidt. De 2D-uitvoer wordt teruggeprojecteerd naar 3D, wat resulteert in dicht geannoteerde puntenwolken ondersteund door een driedelige visualisatiesuite (2D feature maps, 3D gekleurde puntenwolken en compacte virtuele sferen) voor snelle triage en begeleiding van beoordelaars. Met behulp van deze pipeline bouwen we Mangrove3D, een semantische segmentatie TLS-dataset voor mangrovebossen. We evalueren verder de data-efficiëntie en feature-importantie om twee belangrijke vragen te beantwoorden: (1) hoeveel geannoteerde data zijn nodig en (2) welke features zijn het belangrijkst. Resultaten tonen aan dat de prestaties verzadigen na ~12 geannoteerde scans, geometrische features het meest bijdragen, en compacte negen-kanaals stacks bijna alle onderscheidende kracht vastleggen, waarbij de gemiddelde Intersection over Union (mIoU) een plateau bereikt rond 0.76. Ten slotte bevestigen we de generalisatie van onze feature-verrijkingsstrategie door cross-dataset tests op ForestSemantic en Semantic3D. Onze bijdragen omvatten: (i) een robuuste, onzekerheidsbewuste TLS-annotatiepipeline met visualisatietools; (ii) de Mangrove3D dataset; en (iii) empirische richtlijnen over data-efficiëntie en feature-importantie, waardoor schaalbare, hoogwaardige segmentatie van TLS-puntenwolken mogelijk wordt voor ecologische monitoring en daarbuiten. De dataset en verwerkingsscripts zijn publiekelijk beschikbaar op https://fz-rit.github.io/through-the-lidars-eye/.

English

Accurate semantic segmentation of terrestrial laser scanning (TLS) point clouds is limited by costly manual annotation. We propose a semi-automated, uncertainty-aware pipeline that integrates spherical projection, feature enrichment, ensemble learning, and targeted annotation to reduce labeling effort, while sustaining high accuracy. Our approach projects 3D points to a 2D spherical grid, enriches pixels with multi-source features, and trains an ensemble of segmentation networks to produce pseudo-labels and uncertainty maps, the latter guiding annotation of ambiguous regions. The 2D outputs are back-projected to 3D, yielding densely annotated point clouds supported by a three-tier visualization suite (2D feature maps, 3D colorized point clouds, and compact virtual spheres) for rapid triage and reviewer guidance. Using this pipeline, we build Mangrove3D, a semantic segmentation TLS dataset for mangrove forests. We further evaluate data efficiency and feature importance to address two key questions: (1) how much annotated data are needed and (2) which features matter most. Results show that performance saturates after ~12 annotated scans, geometric features contribute the most, and compact nine-channel stacks capture nearly all discriminative power, with the mean Intersection over Union (mIoU) plateauing at around 0.76. Finally, we confirm the generalization of our feature-enrichment strategy through cross-dataset tests on ForestSemantic and Semantic3D. Our contributions include: (i) a robust, uncertainty-aware TLS annotation pipeline with visualization tools; (ii) the Mangrove3D dataset; and (iii) empirical guidance on data efficiency and feature importance, thus enabling scalable, high-quality segmentation of TLS point clouds for ecological monitoring and beyond. The dataset and processing scripts are publicly available at https://fz-rit.github.io/through-the-lidars-eye/.