Através da Perspectiva do LiDAR: Um Pipeline de Anotação Enriquecido por Características e Consciente da Incerteza para a Segmentação de Nuvens de Pontos Terrestres

Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation

October 8, 2025

Autores: Fei Zhang, Rob Chancia, Josie Clapp, Amirhossein Hassanzadeh, Dimah Dera, Richard MacKenzie, Jan van Aardt

cs.AI

Resumo

A segmentação semântica precisa de nuvens de pontos obtidas por varredura a laser terrestre (TLS) é limitada pela anotação manual custosa. Propomos um pipeline semi-automatizado e consciente da incerteza que integra projeção esférica, enriquecimento de características, aprendizado conjunto e anotação direcionada para reduzir o esforço de rotulagem, mantendo alta precisão. Nossa abordagem projeta pontos 3D em uma grade esférica 2D, enriquece pixels com características de múltiplas fontes e treina um conjunto de redes de segmentação para produzir pseudo-rótulos e mapas de incerteza, sendo que estes últimos orientam a anotação de regiões ambíguas. As saídas 2D são retroprojetadas para 3D, gerando nuvens de pontos densamente anotadas, apoiadas por uma suíte de visualização de três níveis (mapas de características 2D, nuvens de pontos coloridas 3D e esferas virtuais compactas) para triagem rápida e orientação do revisor. Utilizando esse pipeline, construímos o Mangrove3D, um conjunto de dados de segmentação semântica TLS para florestas de mangue. Avaliamos ainda a eficiência dos dados e a importância das características para abordar duas questões-chave: (1) quantos dados anotados são necessários e (2) quais características são mais relevantes. Os resultados mostram que o desempenho satura após ~12 varreduras anotadas, as características geométricas contribuem mais, e pilhas compactas de nove canais capturam quase todo o poder discriminativo, com a média de Intersecção sobre União (mIoU) estabilizando em torno de 0,76. Por fim, confirmamos a generalização de nossa estratégia de enriquecimento de características por meio de testes cruzados nos conjuntos de dados ForestSemantic e Semantic3D. Nossas contribuições incluem: (i) um pipeline robusto e consciente da incerteza para anotação TLS com ferramentas de visualização; (ii) o conjunto de dados Mangrove3D; e (iii) orientação empírica sobre eficiência de dados e importância de características, permitindo assim a segmentação escalável e de alta qualidade de nuvens de pontos TLS para monitoramento ecológico e além. O conjunto de dados e os scripts de processamento estão disponíveis publicamente em https://fz-rit.github.io/through-the-lidars-eye/.

English

Accurate semantic segmentation of terrestrial laser scanning (TLS) point clouds is limited by costly manual annotation. We propose a semi-automated, uncertainty-aware pipeline that integrates spherical projection, feature enrichment, ensemble learning, and targeted annotation to reduce labeling effort, while sustaining high accuracy. Our approach projects 3D points to a 2D spherical grid, enriches pixels with multi-source features, and trains an ensemble of segmentation networks to produce pseudo-labels and uncertainty maps, the latter guiding annotation of ambiguous regions. The 2D outputs are back-projected to 3D, yielding densely annotated point clouds supported by a three-tier visualization suite (2D feature maps, 3D colorized point clouds, and compact virtual spheres) for rapid triage and reviewer guidance. Using this pipeline, we build Mangrove3D, a semantic segmentation TLS dataset for mangrove forests. We further evaluate data efficiency and feature importance to address two key questions: (1) how much annotated data are needed and (2) which features matter most. Results show that performance saturates after ~12 annotated scans, geometric features contribute the most, and compact nine-channel stacks capture nearly all discriminative power, with the mean Intersection over Union (mIoU) plateauing at around 0.76. Finally, we confirm the generalization of our feature-enrichment strategy through cross-dataset tests on ForestSemantic and Semantic3D. Our contributions include: (i) a robust, uncertainty-aware TLS annotation pipeline with visualization tools; (ii) the Mangrove3D dataset; and (iii) empirical guidance on data efficiency and feature importance, thus enabling scalable, high-quality segmentation of TLS point clouds for ecological monitoring and beyond. The dataset and processing scripts are publicly available at https://fz-rit.github.io/through-the-lidars-eye/.