실시간 및 적응형 라이다 장면 완성을 향하여

초록

LiDAR 장면 완성은 자율주행에서 3차원 인식의 핵심 구성 요소이며, 후속 작업에 활용 가능하려면 장면이 실시간으로 완성되어야 한다. 기존 접근법들은 일반적으로 초기화-정제(initialize-and-refine) 패러다임을 따르는데, 먼저 장면의 대략적인 초기화를 구성한 후 이를 완전한 3차원 기하 구조로 정제한다. 생성 모델은 임의의 가우시안 노이즈를 장면으로 반복적으로 정제하기 때문에 속도가 느린 반면, 비생성적 방법은 부분 장면에 고정된 노이즈 스케일을 적용하여 큰 공백과 가려진 영역에 대한 커버리지가 제한적이며, 새로운 센서 구성마다 수동 노이즈 조정이 필요하다. 본 논문에서는 초기화 자체를 학습된 데이터 기반 구성 요소로 취급하는 LiDAR 장면 완성 방법인 RapidLiDAR를 제안한다. 각 부분 입력 점에 대해 공간적으로 변화하는 변위를 예측하는 적응형 초기화 모듈을 제안하여, 수동 노이즈 조정 없이 국소 기하 구조에 적응된 대략적인 장면 초기화로 부분 관측을 확장한다. 이러한 대략적인 초기화를 완전하고 일관된 장면으로 정제하기 위해, 입력 스캔으로부터 구축된 다중 스케일 3차원 복셀 및 2차원 BEV 특징 맵을 질의하여 점 위치를 추가로 정제하는 다중 스케일 재구성 모듈을 추가로 제안한다. 최원점 샘플링(farthest point sampling)과 k-최근접 이웃 탐색(k-nearest neighbor search)과 같은 점 이웃 연산자를 복셀 및 BEV 기반 특징 추출로 대체함으로써, 제안된 아키텍처는 더 빠르며 설계상 다양한 입력 해상도를 처리할 수 있다. SemanticKITTI와 KITTI-360에 대한 실험에서, 본 방법은 최첨단 기법과 동등한 완성 성능을 달성하면서 전체 장면을 0.1초에 완성하며, 이는 가장 빠른 기존 방법보다 2.3배 빠른 것이다. 이는 일반적인 차량용 LiDAR 센서의 10Hz 취득 주파수에 해당하며, 실시간 LiDAR 장면 완성을 향한 한 걸음이 된다.

English

LiDAR scene completion is a key component of 3D perception in autonomous driving, where the scene must be completed in real time to be usable in downstream tasks. Existing approaches typically follow an initialize-and-refine paradigm, in which a coarse initialization of the scene is first constructed, then refined into complete 3D geometry. Generative models are slower because they iteratively refine random Gaussian noise into the scene, while non-generative methods perturb the partial scene with a fixed noise scale, which limits coverage of large gaps and occluded regions and requires manual recalibration for each new sensor configuration. We present RapidLiDAR, a LiDAR scene completion method that treats the initialization itself as a learned, data-driven component. We propose an adaptive initialization module that predicts a spatially varying displacement for each partial input point, expanding the partial observations into a coarse scene initialization adapted to the local geometry, without requiring manual noise tuning. To refine this coarse initialization into a complete and coherent scene, we additionally propose a multi-scale reconstruction module that further refines point positions by querying multi-scale 3D voxel and 2D BEV feature maps constructed from the input scan. By replacing point-neighborhood operators such as farthest point sampling and k-nearest neighbor search with voxel- and BEV-based feature extraction, our architecture is faster and can handle different input resolutions by design. Experiments on SemanticKITTI and KITTI-360 show that our method achieves completion performance on par with the state of the art while completing a full scene in 0.1 seconds, which is 2.3 times faster than the fastest prior method. This matches the 10 Hz acquisition rate of typical automotive LiDAR sensors, taking a step toward real-time LiDAR scene completion.