RADIO-ViPE: Fusión Multimodal Estrechamente Acoplada en Tiempo Real para SLAM Semántico de Vocabulario Abierto en Entornos Dinámicos

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

April 28, 2026

Autores: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

cs.AI

Resumen

Presentamos RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), un sistema de SLAM semántico en línea que permite la localización abierta de vocabulario consciente de la geometría, asociando consultas arbitrarias en lenguaje natural con regiones 3D localizadas y objetos en entornos dinámicos. A diferencia de los enfoques existentes que requieren entrada RGB-D calibrada y con pose conocida, RADIO-ViPE opera directamente sobre flujos de vídeo RGB monoculares en bruto, sin requerir intrínsecos de cámara previos, sensores de profundidad o inicialización de pose. El sistema acopla estrechamente incrustaciones multimodales —que abarcan visión y lenguaje— derivadas de modelos fundacionales aglomerativos (por ejemplo, RADIO) con información geométrica de la escena. Este acoplamiento tiene lugar en la inicialización, la optimización y las conexiones del grafo de factores para mejorar la consistencia del mapa a partir de múltiples modalidades. La optimización está encapsulada dentro de kernels robustos adaptativos, diseñados para manejar tanto objetos en movimiento activo como elementos de la escena desplazados por el agente (por ejemplo, muebles reorganizados durante una sesión egocéntrica). Los experimentos demuestran que RADIO-ViPE logra resultados de vanguardia en el benchmark dinámico TUM-RGBD, manteniendo al mismo tiempo un rendimiento competitivo frente a métodos de vocabulario abierto fuera de línea que dependen de datos calibrados y suposiciones de escenas estáticas. RADIO-ViPE salva una brecha crítica en el despliegue del mundo real, permitiendo una localización semántica de vocabulario abierto robusta para la robótica autónoma y flujos de vídeo sin restricciones en entornos naturales. Página del proyecto: https://be2rlab.github.io/radio_vipe

English

We present RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), an online semantic SLAM system that enables geometry-aware open-vocabulary grounding, associating arbitrary natural language queries with localized 3D regions and objects in dynamic environments. Unlike existing approaches that require calibrated, posed RGB-D input, RADIO-ViPE operates directly on raw monocular RGB video streams, requiring no prior camera intrinsics, depth sensors, or pose initialization. The system tightly couples multi-modal embeddings -- spanning vision and language -- derived from agglomerative foundation models (e.g., RADIO) with geometric scene information. This coupling takes place in initialization, optimization and factor graph connections to improve the consistency of the map from multiple modalities. The optimization is wrapped within adaptive robust kernels, designed to handle both actively moving objects and agent-displaced scene elements (e.g., furniture rearranged during ego-centric session). Experiments demonstrate that RADIO-ViPE achieves state-of-the-art results on the dynamic TUM-RGBD benchmark while maintaining competitive performance against offline open-vocabulary methods that rely on calibrated data and static scene assumptions. RADIO-ViPE bridges a critical gap in real-world deployment, enabling robust open-vocabulary semantic grounding for autonomous robotics and unconstrained in-the-wild video streams. Project page: https://be2rlab.github.io/radio_vipe