Сквозь призму LiDAR: Аннотационный конвейер, обогащенный признаками и учитывающий неопределенности, для сегментации наземных облаков точек

Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation

October 8, 2025

Авторы: Fei Zhang, Rob Chancia, Josie Clapp, Amirhossein Hassanzadeh, Dimah Dera, Richard MacKenzie, Jan van Aardt

cs.AI

Аннотация

Точная семантическая сегментация облаков точек, полученных с помощью наземного лазерного сканирования (TLS), ограничена высокой стоимостью ручной аннотации. Мы предлагаем полуавтоматизированный подход, учитывающий неопределенность, который объединяет сферическую проекцию, обогащение признаков, ансамблевое обучение и целенаправленную аннотацию для снижения затрат на маркировку при сохранении высокой точности. Наш метод проецирует 3D-точки на 2D-сферическую сетку, обогащает пиксели мультиисточниковыми признаками и обучает ансамбль сегментационных сетей для генерации псевдо-меток и карт неопределенности, последние из которых направляют аннотацию неоднозначных областей. 2D-результаты обратно проецируются в 3D, создавая плотно аннотированные облака точек, поддерживаемые трехкомпонентной визуализационной системой (2D-карты признаков, 3D-цветные облака точек и компактные виртуальные сферы) для быстрой сортировки и руководства рецензента. Используя этот подход, мы создаем Mangrove3D — набор данных для семантической сегментации TLS мангровых лесов. Мы также оцениваем эффективность данных и важность признаков, чтобы ответить на два ключевых вопроса: (1) сколько аннотированных данных требуется и (2) какие признаки наиболее значимы. Результаты показывают, что производительность стабилизируется после ~12 аннотированных сканирований, геометрические признаки вносят наибольший вклад, а компактные девятиканальные наборы данных захватывают почти всю дискриминативную способность, при этом среднее значение Intersection over Union (mIoU) достигает около 0,76. Наконец, мы подтверждаем обобщаемость нашей стратегии обогащения признаков с помощью кросс-датасетных тестов на ForestSemantic и Semantic3D. Наши вклады включают: (i) надежный, учитывающий неопределенность подход к аннотации TLS с инструментами визуализации; (ii) набор данных Mangrove3D; и (iii) эмпирические рекомендации по эффективности данных и важности признаков, что позволяет масштабировать высококачественную сегментацию облаков точек TLS для экологического мониторинга и других задач. Набор данных и скрипты обработки доступны публично по адресу https://fz-rit.github.io/through-the-lidars-eye/.

English

Accurate semantic segmentation of terrestrial laser scanning (TLS) point clouds is limited by costly manual annotation. We propose a semi-automated, uncertainty-aware pipeline that integrates spherical projection, feature enrichment, ensemble learning, and targeted annotation to reduce labeling effort, while sustaining high accuracy. Our approach projects 3D points to a 2D spherical grid, enriches pixels with multi-source features, and trains an ensemble of segmentation networks to produce pseudo-labels and uncertainty maps, the latter guiding annotation of ambiguous regions. The 2D outputs are back-projected to 3D, yielding densely annotated point clouds supported by a three-tier visualization suite (2D feature maps, 3D colorized point clouds, and compact virtual spheres) for rapid triage and reviewer guidance. Using this pipeline, we build Mangrove3D, a semantic segmentation TLS dataset for mangrove forests. We further evaluate data efficiency and feature importance to address two key questions: (1) how much annotated data are needed and (2) which features matter most. Results show that performance saturates after ~12 annotated scans, geometric features contribute the most, and compact nine-channel stacks capture nearly all discriminative power, with the mean Intersection over Union (mIoU) plateauing at around 0.76. Finally, we confirm the generalization of our feature-enrichment strategy through cross-dataset tests on ForestSemantic and Semantic3D. Our contributions include: (i) a robust, uncertainty-aware TLS annotation pipeline with visualization tools; (ii) the Mangrove3D dataset; and (iii) empirical guidance on data efficiency and feature importance, thus enabling scalable, high-quality segmentation of TLS point clouds for ecological monitoring and beyond. The dataset and processing scripts are publicly available at https://fz-rit.github.io/through-the-lidars-eye/.