ProFuse: Fusión Eficiente de Contexto Multi-Vista para Representación 3D con Splatting Gaussiano de Vocabulario Abierto
ProFuse: Efficient Cross-View Context Fusion for Open-Vocabulary 3D Gaussian Splatting
January 8, 2026
Autores: Yen-Jen Chiou, Wei-Tse Cheng, Yuan-Fu Yang
cs.AI
Resumen
Presentamos ProFuse, un marco eficiente y consciente del contexto para la comprensión de escenas 3D de vocabulario abierto mediante *Gaussian Splatting* 3D (3DGS). La canalización mejora la consistencia multi-vista y la cohesión intra-máscara dentro de una configuración de registro directo, añadiendo una sobrecarga mínima y sin requerir ajuste fino supervisado por renderizado. En lugar de depender de una escena 3DGS preentrenada, introducimos una fase de preregistro guiado por correspondencias densas que inicializa los Gaussianos con una geometría precisa mientras construye conjuntamente *Propuestas de Contexto 3D* mediante agrupamiento multi-vista. Cada propuesta porta una característica global obtenida mediante la agregación ponderada de los *embeddings* de sus miembros, y esta característica se fusiona en los Gaussianos durante el registro directo para mantener la coherencia lingüística por primitiva en todas las vistas. Al establecer las asociaciones de antemano, la fusión semántica no requiere optimización adicional más allá de la reconstrucción estándar, y el modelo conserva el refinamiento geométrico sin necesidad de densificación. ProFuse logra una sólida comprensión 3DGS de vocabulario abierto mientras completa la anotación semántica en aproximadamente cinco minutos por escena, lo que es dos veces más rápido que el estado de la técnica (SOTA).
English
We present ProFuse, an efficient context-aware framework for open-vocabulary 3D scene understanding with 3D Gaussian Splatting (3DGS). The pipeline enhances cross-view consistency and intra-mask cohesion within a direct registration setup, adding minimal overhead and requiring no render-supervised fine-tuning. Instead of relying on a pretrained 3DGS scene, we introduce a dense correspondence-guided pre-registration phase that initializes Gaussians with accurate geometry while jointly constructing 3D Context Proposals via cross-view clustering. Each proposal carries a global feature obtained through weighted aggregation of member embeddings, and this feature is fused onto Gaussians during direct registration to maintain per-primitive language coherence across views. With associations established in advance, semantic fusion requires no additional optimization beyond standard reconstruction, and the model retains geometric refinement without densification. ProFuse achieves strong open-vocabulary 3DGS understanding while completing semantic attachment in about five minutes per scene, which is two times faster than SOTA.