リアルタイムかつ適応可能なライダーシーン補完に向けて

要旨

LiDARシーン補完は、自動運転における3次元知覚の主要な構成要素であり、下流タスクで利用可能であるためにはシーンをリアルタイムで補完する必要がある。既存の手法は通常、「初期化と精緻化」パラダイムに従う。これは、まずシーンの粗い初期化を構築し、次に完全な3次元形状へと精緻化するものである。生成モデルは、ランダムなガウス雑音をシーンへと反復的に精緻化するため低速である。一方、非生成的手法は、部分シーンを固定ノイズスケールで摂動させるため、大きなギャップや遮蔽領域の網羅性が制限され、新しいセンサ構成ごとに手動での再調整が必要となる。我々は、初期化自体を学習されたデータ駆動型の構成要素として扱うLiDARシーン補完手法であるRapidLiDARを提案する。我々は、各部分入力点に対して空間的に変化する変位を予測し、局所的な形状に適応した粗いシーン初期化へと部分観測を拡張する適応的初期化モジュールを提案する。これにより、手動によるノイズ調整は不要となる。この粗い初期化を完全で一貫性のあるシーンへと精緻化するために、入力スキャンから構築したマルチスケールの3次元ボクセルおよび2次元BEV特徴マップをクエリすることで点位置をさらに精緻化するマルチスケール再構成モジュールも提案する。最遠点サンプリングやk近傍探索などの点近傍演算子を、ボクセルおよびBEVベースの特徴抽出に置き換えることで、我々のアーキテクチャはより高速であり、設計上、異なる入力解像度を扱うことができる。SemanticKITTIおよびKITTI-360での実験により、我々の手法は最先端と同等の補完性能を達成しつつ、全シーンを0.1秒で補完でき、これは最速の従来手法よりも2.3倍高速であることを示す。これは、一般的な車載LiDARセンサの10Hzの取得レートに一致し、リアルタイムLiDARシーン補完への一歩となる。

English

LiDAR scene completion is a key component of 3D perception in autonomous driving, where the scene must be completed in real time to be usable in downstream tasks. Existing approaches typically follow an initialize-and-refine paradigm, in which a coarse initialization of the scene is first constructed, then refined into complete 3D geometry. Generative models are slower because they iteratively refine random Gaussian noise into the scene, while non-generative methods perturb the partial scene with a fixed noise scale, which limits coverage of large gaps and occluded regions and requires manual recalibration for each new sensor configuration. We present RapidLiDAR, a LiDAR scene completion method that treats the initialization itself as a learned, data-driven component. We propose an adaptive initialization module that predicts a spatially varying displacement for each partial input point, expanding the partial observations into a coarse scene initialization adapted to the local geometry, without requiring manual noise tuning. To refine this coarse initialization into a complete and coherent scene, we additionally propose a multi-scale reconstruction module that further refines point positions by querying multi-scale 3D voxel and 2D BEV feature maps constructed from the input scan. By replacing point-neighborhood operators such as farthest point sampling and k-nearest neighbor search with voxel- and BEV-based feature extraction, our architecture is faster and can handle different input resolutions by design. Experiments on SemanticKITTI and KITTI-360 show that our method achieves completion performance on par with the state of the art while completing a full scene in 0.1 seconds, which is 2.3 times faster than the fastest prior method. This matches the 10 Hz acquisition rate of typical automotive LiDAR sensors, taking a step toward real-time LiDAR scene completion.