RADIO-ViPE: 動的環境におけるオープン語彙セマンティックSLAMのためのオンライン密結合マルチモーダル融合

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

April 28, 2026

著者: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

cs.AI

要旨

我々はRADIO-ViPE（Reduce All Domains Into One -- Video Pose Engine）を提案する。これは、動的環境において任意の自然言語クエリを局所化された3D領域やオブジェクトに関連付ける、幾何学的認識を備えたオープン語彙グラウンディングを可能にするオンラインセマンティックSLAMシステムである。較正済みのポーズ付きRGB-D入力を必要とする既存手法とは異なり、RADIO-ViPEは単眼RGBビデオストリームを直接処理し、カメラ内部パラメータ、深度センサー、またはポーズ初期化を事前に必要としない。本システムは、集約的基盤モデル（例：RADIO）から得られる視覚と言語に跨るマルチモーダル埋め込みを、幾何学的シーン情報と密接に結合する。この結合は初期化、最適化、因子グラフ接続において行われ、複数モダリティからのマップの一貫性を改善する。最適化は適応的ロバストカーネル内に包まれ、能動的に移動するオブジェクトとエージェントによって移動されたシーン要素（例：エゴセントリックセッション中に再配置された家具）の両方を処理するように設計されている。実験により、RADIO-ViPEが動的TUM-RGBDベンチマークで最先端の結果を達成し、較正データと静的シーン仮定に依存するオフラインのオープン語彙手法に対しても競争力のある性能を維持することが実証された。RADIO-ViPEは実世界展開における重要なギャップを埋め、自律ロボティクスと制約のない実環境ビデオストリームのための堅牢なオープン語彙セマンティックグラウンディングを可能にする。プロジェクトページ：https://be2rlab.github.io/radio_vipe

English

We present RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), an online semantic SLAM system that enables geometry-aware open-vocabulary grounding, associating arbitrary natural language queries with localized 3D regions and objects in dynamic environments. Unlike existing approaches that require calibrated, posed RGB-D input, RADIO-ViPE operates directly on raw monocular RGB video streams, requiring no prior camera intrinsics, depth sensors, or pose initialization. The system tightly couples multi-modal embeddings -- spanning vision and language -- derived from agglomerative foundation models (e.g., RADIO) with geometric scene information. This coupling takes place in initialization, optimization and factor graph connections to improve the consistency of the map from multiple modalities. The optimization is wrapped within adaptive robust kernels, designed to handle both actively moving objects and agent-displaced scene elements (e.g., furniture rearranged during ego-centric session). Experiments demonstrate that RADIO-ViPE achieves state-of-the-art results on the dynamic TUM-RGBD benchmark while maintaining competitive performance against offline open-vocabulary methods that rely on calibrated data and static scene assumptions. RADIO-ViPE bridges a critical gap in real-world deployment, enabling robust open-vocabulary semantic grounding for autonomous robotics and unconstrained in-the-wild video streams. Project page: https://be2rlab.github.io/radio_vipe