ProFuse: Efficiënte Cross-View Contextfusie voor Open-Vocabulary 3D Gaussian Splatting

ProFuse: Efficient Cross-View Context Fusion for Open-Vocabulary 3D Gaussian Splatting

January 8, 2026

Auteurs: Yen-Jen Chiou, Wei-Tse Cheng, Yuan-Fu Yang

cs.AI

Samenvatting

Wij presenteren ProFuse, een efficiënt contextbewust raamwerk voor open-vocabulary 3D-scènebegrip met 3D Gaussian Splatting (3DGS). De pijplijn verbetert de consistentie tussen verschillende aanzichten en de cohesie binnen maskers binnen een directe registratie-opzet, voegt minimale overhead toe en vereist geen render-gestuurde finetuning. In plaats van te vertrouwen op een vooraf getrainde 3DGS-scène, introduceren we een dichte correspondentie-gestuurde pre-registratiefase die Gaussians initialiseert met nauwkeurige geometrie, terwijl tegelijkertijd 3D Contextvoorstellen worden geconstrueerd via clustering tussen aanzichten. Elk voorstel draagt een globaal kenmerk verkregen door gewogen aggregatie van lidmaatschaps-embeddingen, en dit kenmerk wordt gefuseerd op de Gaussians tijdens de directe registratie om taalcoherentie per primitief over verschillende aanzichten te behouden. Omdat de associaties van tevoren zijn vastgesteld, vereist semantische fusie geen extra optimalisatie buiten de standaardreconstructie, en behoudt het model geometrische verfijning zonder verdichting. ProFuse bereikt sterk open-vocabulary 3DGS-begrip en voltooit de semantische koppeling in ongeveer vijf minuten per scène, wat twee keer zo snel is als de state-of-the-art.

English

We present ProFuse, an efficient context-aware framework for open-vocabulary 3D scene understanding with 3D Gaussian Splatting (3DGS). The pipeline enhances cross-view consistency and intra-mask cohesion within a direct registration setup, adding minimal overhead and requiring no render-supervised fine-tuning. Instead of relying on a pretrained 3DGS scene, we introduce a dense correspondence-guided pre-registration phase that initializes Gaussians with accurate geometry while jointly constructing 3D Context Proposals via cross-view clustering. Each proposal carries a global feature obtained through weighted aggregation of member embeddings, and this feature is fused onto Gaussians during direct registration to maintain per-primitive language coherence across views. With associations established in advance, semantic fusion requires no additional optimization beyond standard reconstruction, and the model retains geometric refinement without densification. ProFuse achieves strong open-vocabulary 3DGS understanding while completing semantic attachment in about five minutes per scene, which is two times faster than SOTA.