Attraverso la prospettiva del LiDAR: una pipeline di annotazione arricchita di caratteristiche e consapevole dell'incertezza per la segmentazione di nuvole di punti terrestri

Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation

October 8, 2025

Autori: Fei Zhang, Rob Chancia, Josie Clapp, Amirhossein Hassanzadeh, Dimah Dera, Richard MacKenzie, Jan van Aardt

cs.AI

Abstract

La segmentazione semantica accurata delle nuvole di punti ottenute tramite scansione laser terrestre (TLS) è limitata dai costosi processi di annotazione manuale. Proponiamo una pipeline semi-automatizzata e consapevole dell'incertezza che integra proiezione sferica, arricchimento delle caratteristiche, apprendimento ensemble e annotazione mirata per ridurre lo sforzo di etichettatura, mantenendo al contempo un'elevata accuratezza. Il nostro approccio proietta i punti 3D su una griglia sferica 2D, arricchisce i pixel con caratteristiche provenienti da più fonti e addestra un insieme di reti di segmentazione per produrre pseudo-etichette e mappe di incertezza, quest'ultime utilizzate per guidare l'annotazione delle regioni ambigue. Gli output 2D vengono riproiettati in 3D, producendo nuvole di punti densamente annotate supportate da una suite di visualizzazione a tre livelli (mappe delle caratteristiche 2D, nuvole di punti colorate 3D e sfere virtuali compatte) per una rapida triage e guida del revisore. Utilizzando questa pipeline, abbiamo creato Mangrove3D, un dataset di segmentazione semantica TLS per le foreste di mangrovie. Abbiamo inoltre valutato l'efficienza dei dati e l'importanza delle caratteristiche per rispondere a due domande chiave: (1) quanti dati annotati sono necessari e (2) quali caratteristiche sono più rilevanti. I risultati mostrano che le prestazioni si saturano dopo circa 12 scansioni annotate, le caratteristiche geometriche contribuiscono maggiormente e stack compatti di nove canali catturano quasi tutto il potere discriminativo, con l'Intersection over Union media (mIoU) che si stabilizza intorno a 0.76. Infine, confermiamo la generalizzazione della nostra strategia di arricchimento delle caratteristiche attraverso test cross-dataset su ForestSemantic e Semantic3D. Le nostre contribuzioni includono: (i) una pipeline robusta e consapevole dell'incertezza per l'annotazione TLS con strumenti di visualizzazione; (ii) il dataset Mangrove3D; e (iii) linee guida empiriche sull'efficienza dei dati e l'importanza delle caratteristiche, consentendo così una segmentazione scalabile e di alta qualità delle nuvole di punti TLS per il monitoraggio ecologico e oltre. Il dataset e gli script di elaborazione sono disponibili pubblicamente all'indirizzo https://fz-rit.github.io/through-the-lidars-eye/.

English

Accurate semantic segmentation of terrestrial laser scanning (TLS) point clouds is limited by costly manual annotation. We propose a semi-automated, uncertainty-aware pipeline that integrates spherical projection, feature enrichment, ensemble learning, and targeted annotation to reduce labeling effort, while sustaining high accuracy. Our approach projects 3D points to a 2D spherical grid, enriches pixels with multi-source features, and trains an ensemble of segmentation networks to produce pseudo-labels and uncertainty maps, the latter guiding annotation of ambiguous regions. The 2D outputs are back-projected to 3D, yielding densely annotated point clouds supported by a three-tier visualization suite (2D feature maps, 3D colorized point clouds, and compact virtual spheres) for rapid triage and reviewer guidance. Using this pipeline, we build Mangrove3D, a semantic segmentation TLS dataset for mangrove forests. We further evaluate data efficiency and feature importance to address two key questions: (1) how much annotated data are needed and (2) which features matter most. Results show that performance saturates after ~12 annotated scans, geometric features contribute the most, and compact nine-channel stacks capture nearly all discriminative power, with the mean Intersection over Union (mIoU) plateauing at around 0.76. Finally, we confirm the generalization of our feature-enrichment strategy through cross-dataset tests on ForestSemantic and Semantic3D. Our contributions include: (i) a robust, uncertainty-aware TLS annotation pipeline with visualization tools; (ii) the Mangrove3D dataset; and (iii) empirical guidance on data efficiency and feature importance, thus enabling scalable, high-quality segmentation of TLS point clouds for ecological monitoring and beyond. The dataset and processing scripts are publicly available at https://fz-rit.github.io/through-the-lidars-eye/.