PLANING: ストリーミング3D再構成のための疎結合な三角形-ガウスフレームワーク

要旨

単眼画像シーケンスからのストリーミング再構成は依然として課題が多い。既存手法の多くは高品質なレンダリングか正確なジオメトリのいずれかを優先し、両方を同時に実現することは稀である。本論文ではPLANINGを提案する。これは、明示的幾何プリミティブとニューラルガウシアンを緩やかに結合したハイブリッド表現に基づく効率的なオンザフライ再構成フレームワークであり、ジオメトリと外観を分離してモデル化することを可能にする。この分離により、ジオメトリと外観の更新を分離したオンライン初期化・最適化戦略を実現し、構造的な冗長性を大幅に削減した安定したストリーミング再構成を実現する。PLANINGは、密メッシュのChamfer-L2距離をPGSR比18.52%改善し、PSNRでARTDECOを1.31dB上回り、ScanNetV2シーンを100秒未満で再構成する（2D Gaussian Splatting比5倍以上高速）とともに、シーン毎のオフライン最適化と同等の品質を達成する。再構成品質に加えて、\modelname~の構造的な明確さと計算効率の高さは、大規模シーン建模や具身AI向けのシミュレーション対応環境の構築など、幅広い下流アプリケーションへの適合性を可能にする。プロジェクトページ: https://city-super.github.io/PLANING/

English

Streaming reconstruction from monocular image sequences remains challenging, as existing methods typically favor either high-quality rendering or accurate geometry, but rarely both. We present PLANING, an efficient on-the-fly reconstruction framework built on a hybrid representation that loosely couples explicit geometric primitives with neural Gaussians, enabling geometry and appearance to be modeled in a decoupled manner. This decoupling supports an online initialization and optimization strategy that separates geometry and appearance updates, yielding stable streaming reconstruction with substantially reduced structural redundancy. PLANING improves dense mesh Chamfer-L2 by 18.52% over PGSR, surpasses ARTDECO by 1.31 dB PSNR, and reconstructs ScanNetV2 scenes in under 100 seconds, over 5x faster than 2D Gaussian Splatting, while matching the quality of offline per-scene optimization. Beyond reconstruction quality, the structural clarity and computational efficiency of \modelname~make it well suited for a broad range of downstream applications, such as enabling large-scale scene modeling and simulation-ready environments for embodied AI. Project page: https://city-super.github.io/PLANING/ .

PLANING: ストリーミング3D再構成のための疎結合な三角形-ガウスフレームワーク

PLANING: A Loosely Coupled Triangle-Gaussian Framework for Streaming 3D Reconstruction

要旨

Support