ProFuse: オープン語彙型3Dガウススプラッティングのための効率的なクロスビューコンテキスト融合

ProFuse: Efficient Cross-View Context Fusion for Open-Vocabulary 3D Gaussian Splatting

January 8, 2026

著者: Yen-Jen Chiou, Wei-Tse Cheng, Yuan-Fu Yang

cs.AI

要旨

本論文では、3Dガウススプラッティング（3DGS）を用いた開放語彙3Dシーン理解のための効率的なコンテキスト認識フレームワーク「ProFuse」を提案する。本パイプラインは、直接登録設定において視点間の一貫性とマスク内の結束性を強化し、最小限のオーバーヘッドで、レンダリング監督付きファインチューニングを必要としない。事前学習済み3DGSシーンに依存する代わりに、密な対応関係ガイドによる事前登録段階を導入し、正確なジオメトリでガウシアンを初期化すると同時に、視点間クラスタリングによる3Dコンテキスト提案を共同構築する。各提案は、メンバー埋め込みの重み付き集約により得られた大域的特徴を保持し、この特徴は直接登録中にガウシアンに融合され、視点を超えたプリミティブ単位の言語的一貫性を維持する。事前に関連付けが確立されているため、意味的融合は標準的な再構成以外の最適化を必要とせず、モデルは密度化なしに幾何学的洗練を保持する。ProFuseは、強力な開放語彙3DGS理解を実現し、シーンごとにおよそ5分で意味的付加を完了する。これはSOTA比2倍の高速化である。

English

We present ProFuse, an efficient context-aware framework for open-vocabulary 3D scene understanding with 3D Gaussian Splatting (3DGS). The pipeline enhances cross-view consistency and intra-mask cohesion within a direct registration setup, adding minimal overhead and requiring no render-supervised fine-tuning. Instead of relying on a pretrained 3DGS scene, we introduce a dense correspondence-guided pre-registration phase that initializes Gaussians with accurate geometry while jointly constructing 3D Context Proposals via cross-view clustering. Each proposal carries a global feature obtained through weighted aggregation of member embeddings, and this feature is fused onto Gaussians during direct registration to maintain per-primitive language coherence across views. With associations established in advance, semantic fusion requires no additional optimization beyond standard reconstruction, and the model retains geometric refinement without densification. ProFuse achieves strong open-vocabulary 3DGS understanding while completing semantic attachment in about five minutes per scene, which is two times faster than SOTA.