RADIO-ViPE : Fusion multimodale étroitement couplée en ligne pour la SLAM sémantique à vocabulaire ouvert dans des environnements dynamiques

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

April 28, 2026

Auteurs: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

cs.AI

Résumé

Nous présentons RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), un système de SLAM sémantique en ligne qui permet un ancrage géométriquement conscient en vocabulaire ouvert, associant des requêtes en langage naturel arbitraires à des régions 3D localisées et à des objets dans des environnements dynamiques. Contrairement aux approches existantes qui nécessitent une entrée RGB-D étalonnée et posée, RADIO-ViPE fonctionne directement sur des flux vidéo RGB monoculaires bruts, sans nécessiter d'intrinsèques de caméra, de capteurs de profondeur ou d'initialisation de pose préalables. Le système couple étroitement des plongements multimodaux — couvrant la vision et le langage — dérivés de modèles de fondation agrégatifs (par exemple, RADIO) avec des informations géométriques de la scène. Ce couplage intervient dans l'initialisation, l'optimisation et les connexions du graphe de facteurs pour améliorer la cohérence de la carte issue de multiples modalités. L'optimisation est encapsulée dans des noyaux robustes adaptatifs, conçus pour gérer à la fois les objets se déplaçant activement et les éléments de scène déplacés par l'agent (par exemple, des meubles réarrangés pendant une session égocentrée). Les expériences démontrent que RADIO-ViPE atteint des résultats de pointe sur le benchmark dynamique TUM-RGBD tout en maintenant des performances compétitives par rapport aux méthodes hors ligne à vocabulaire ouvert qui reposent sur des données étalonnées et des hypothèses de scène statique. RADIO-ViPE comble une lacune critique pour le déploiement en conditions réelles, en permettant un ancrage sémantique robuste en vocabulaire ouvert pour la robotique autonome et les flux vidéo non contraints en milieu naturel. Page du projet : https://be2rlab.github.io/radio_vipe

English

We present RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), an online semantic SLAM system that enables geometry-aware open-vocabulary grounding, associating arbitrary natural language queries with localized 3D regions and objects in dynamic environments. Unlike existing approaches that require calibrated, posed RGB-D input, RADIO-ViPE operates directly on raw monocular RGB video streams, requiring no prior camera intrinsics, depth sensors, or pose initialization. The system tightly couples multi-modal embeddings -- spanning vision and language -- derived from agglomerative foundation models (e.g., RADIO) with geometric scene information. This coupling takes place in initialization, optimization and factor graph connections to improve the consistency of the map from multiple modalities. The optimization is wrapped within adaptive robust kernels, designed to handle both actively moving objects and agent-displaced scene elements (e.g., furniture rearranged during ego-centric session). Experiments demonstrate that RADIO-ViPE achieves state-of-the-art results on the dynamic TUM-RGBD benchmark while maintaining competitive performance against offline open-vocabulary methods that rely on calibrated data and static scene assumptions. RADIO-ViPE bridges a critical gap in real-world deployment, enabling robust open-vocabulary semantic grounding for autonomous robotics and unconstrained in-the-wild video streams. Project page: https://be2rlab.github.io/radio_vipe