RADIO-ViPE: Fusione Multi-Modale Strettamente Accoppiata in Tempo Reale per SLAM Semantico a Vocabolario Aperto in Ambienti Dinamici

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

April 28, 2026

Autori: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

cs.AI

Abstract

Presentiamo RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), un sistema di SLAM semantico online che abilita l'ancoraggio semantico aperto e consapevole della geometria, associando query in linguaggio naturale arbitrarie a regioni 3D e oggetti localizzati in ambienti dinamici. A differenza degli approcci esistenti che richiedono un input RGB-D calibrato e con pose note, RADIO-ViPE opera direttamente su flussi video RGB monoculari grezzi, senza necessitare di intrinseche della camera, sensori di profondità o inizializzazione della pose. Il sistema accoppia strettamente embedding multimodali — che abbracciano visione e linguaggio — derivati da modelli fondazionali aggregativi (ad esempio, RADIO) con le informazioni geometriche della scena. Questo accoppiamento avviene nell'inizializzazione, nell'ottimizzazione e nelle connessioni del grafo fattoriale per migliorare la coerenza della mappa da molteplici modalità. L'ottimizzazione è avvolta all'interno di kernel robusti adattativi, progettati per gestire sia oggetti in movimento attivo sia elementi della scena spostati dall'agente (ad esempio, mobili riposizionati durante una sessione egocentrica). Gli esperimenti dimostrano che RADIO-ViPE raggiunge risultati allo stato dell'arte sul benchmark dinamico TUM-RGBD, mantenendo al contempo prestazioni competitive rispetto a metodi offline a vocabolario aperto che si basano su dati calibrati e assunzioni di scene statiche. RADIO-ViPE colma un divario critico per il dispiegamento nel mondo reale, abilitando un ancoraggio semantico a vocabolario aperto e robusto per la robotica autonoma e flussi video incondizionati in ambienti non controllati. Pagina del progetto: https://be2rlab.github.io/radio_vipe

English

We present RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), an online semantic SLAM system that enables geometry-aware open-vocabulary grounding, associating arbitrary natural language queries with localized 3D regions and objects in dynamic environments. Unlike existing approaches that require calibrated, posed RGB-D input, RADIO-ViPE operates directly on raw monocular RGB video streams, requiring no prior camera intrinsics, depth sensors, or pose initialization. The system tightly couples multi-modal embeddings -- spanning vision and language -- derived from agglomerative foundation models (e.g., RADIO) with geometric scene information. This coupling takes place in initialization, optimization and factor graph connections to improve the consistency of the map from multiple modalities. The optimization is wrapped within adaptive robust kernels, designed to handle both actively moving objects and agent-displaced scene elements (e.g., furniture rearranged during ego-centric session). Experiments demonstrate that RADIO-ViPE achieves state-of-the-art results on the dynamic TUM-RGBD benchmark while maintaining competitive performance against offline open-vocabulary methods that rely on calibrated data and static scene assumptions. RADIO-ViPE bridges a critical gap in real-world deployment, enabling robust open-vocabulary semantic grounding for autonomous robotics and unconstrained in-the-wild video streams. Project page: https://be2rlab.github.io/radio_vipe