A través de la Perspectiva del LiDAR: Un Pipeline de Anotación Enriquecido con Características y Consciente de la Incertidumbre para la Segmentación de Nubes de Puntos Terrestres

Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation

October 8, 2025

Autores: Fei Zhang, Rob Chancia, Josie Clapp, Amirhossein Hassanzadeh, Dimah Dera, Richard MacKenzie, Jan van Aardt

cs.AI

Resumen

La segmentación semántica precisa de nubes de puntos obtenidas mediante escaneo láser terrestre (TLS) se ve limitada por la costosa anotación manual. Proponemos una metodología semi-automatizada y consciente de la incertidumbre que integra proyección esférica, enriquecimiento de características, aprendizaje por conjuntos y anotación dirigida para reducir el esfuerzo de etiquetado, manteniendo una alta precisión. Nuestro enfoque proyecta puntos 3D en una cuadrícula esférica 2D, enriquece los píxeles con características de múltiples fuentes y entrena un conjunto de redes de segmentación para generar etiquetas pseudo-supervisadas y mapas de incertidumbre, estos últimos guiando la anotación de regiones ambiguas. Las salidas 2D se retroproyectan a 3D, produciendo nubes de puntos densamente anotadas respaldadas por una suite de visualización de tres niveles (mapas de características 2D, nubes de puntos 3D coloreadas y esferas virtuales compactas) para una rápida clasificación y orientación del revisor. Utilizando esta metodología, construimos Mangrove3D, un conjunto de datos de segmentación semántica TLS para bosques de manglares. Además, evaluamos la eficiencia de los datos y la importancia de las características para abordar dos preguntas clave: (1) cuántos datos anotados se necesitan y (2) qué características son más relevantes. Los resultados muestran que el rendimiento se satura después de ~12 escaneos anotados, las características geométricas contribuyen más, y pilas compactas de nueve canales capturan casi todo el poder discriminativo, con la media de la Intersección sobre la Unión (mIoU) estabilizándose alrededor de 0.76. Finalmente, confirmamos la generalización de nuestra estrategia de enriquecimiento de características mediante pruebas cruzadas en los conjuntos de datos ForestSemantic y Semantic3D. Nuestras contribuciones incluyen: (i) una metodología robusta y consciente de la incertidumbre para la anotación de TLS con herramientas de visualización; (ii) el conjunto de datos Mangrove3D; y (iii) orientación empírica sobre la eficiencia de los datos y la importancia de las características, permitiendo así una segmentación escalable y de alta calidad de nubes de puntos TLS para monitoreo ecológico y más allá. El conjunto de datos y los scripts de procesamiento están disponibles públicamente en https://fz-rit.github.io/through-the-lidars-eye/.

English

Accurate semantic segmentation of terrestrial laser scanning (TLS) point clouds is limited by costly manual annotation. We propose a semi-automated, uncertainty-aware pipeline that integrates spherical projection, feature enrichment, ensemble learning, and targeted annotation to reduce labeling effort, while sustaining high accuracy. Our approach projects 3D points to a 2D spherical grid, enriches pixels with multi-source features, and trains an ensemble of segmentation networks to produce pseudo-labels and uncertainty maps, the latter guiding annotation of ambiguous regions. The 2D outputs are back-projected to 3D, yielding densely annotated point clouds supported by a three-tier visualization suite (2D feature maps, 3D colorized point clouds, and compact virtual spheres) for rapid triage and reviewer guidance. Using this pipeline, we build Mangrove3D, a semantic segmentation TLS dataset for mangrove forests. We further evaluate data efficiency and feature importance to address two key questions: (1) how much annotated data are needed and (2) which features matter most. Results show that performance saturates after ~12 annotated scans, geometric features contribute the most, and compact nine-channel stacks capture nearly all discriminative power, with the mean Intersection over Union (mIoU) plateauing at around 0.76. Finally, we confirm the generalization of our feature-enrichment strategy through cross-dataset tests on ForestSemantic and Semantic3D. Our contributions include: (i) a robust, uncertainty-aware TLS annotation pipeline with visualization tools; (ii) the Mangrove3D dataset; and (iii) empirical guidance on data efficiency and feature importance, thus enabling scalable, high-quality segmentation of TLS point clouds for ecological monitoring and beyond. The dataset and processing scripts are publicly available at https://fz-rit.github.io/through-the-lidars-eye/.