RADIO-ViPE: Онлайн-тесно связанное многомодальное объединение для семантического SLAM с открытым словарем в динамических средах

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

April 28, 2026

Авторы: Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

cs.AI

Аннотация

Мы представляем RADIO-ViPE (Reduce All Domains Into One — Video Pose Engine) — систему семантического SLAM в реальном времени, которая обеспечивает геометрически осознанное открыто-лексическое связывание, ассоциируя произвольные запросы на естественном языке с локализованными 3D-областями и объектами в динамических средах. В отличие от существующих подходов, требующих калиброванных RGB-D данных с известной позой, RADIO-ViPE работает непосредственно с сырыми монохромными RGB-видеопотоками, не требуя априорных данных о внутренних параметрах камеры, датчиках глубины или инициализации позы. Система тесно связывает мультимодальные эмбеддинги — охватывающие зрение и язык — полученные от агломеративных фундаментальных моделей (например, RADIO), с геометрической информацией о сцене. Эта связь осуществляется на этапах инициализации, оптимизации и через соединения в графе факторов для повышения согласованности карты на основе множества модальностей. Оптимизация обернута в адаптивные робастные ядра, разработанные для обработки как активно движущихся объектов, так и элементов сцены, перемещенных агентом (например, мебели, переставленной во время эгоцентрической сессии). Эксперименты показывают, что RADIO-ViPE достигает наилучших результатов на динамическом бенчмарке TUM-RGBD, сохраняя при этом конкурентоспособную производительность по сравнению с офлайн-методами открытой лексики, которые полагаются на калиброванные данные и предположения о статичности сцены. RADIO-ViPE устраняет критический пробел в практическом развертывании, обеспечивая надежное открыто-лексическое семантическое связывание для автономной робототехники и неограниченных видеопотоков в естественных условиях. Страница проекта: https://be2rlab.github.io/radio_vipe

English

We present RADIO-ViPE (Reduce All Domains Into One -- Video Pose Engine), an online semantic SLAM system that enables geometry-aware open-vocabulary grounding, associating arbitrary natural language queries with localized 3D regions and objects in dynamic environments. Unlike existing approaches that require calibrated, posed RGB-D input, RADIO-ViPE operates directly on raw monocular RGB video streams, requiring no prior camera intrinsics, depth sensors, or pose initialization. The system tightly couples multi-modal embeddings -- spanning vision and language -- derived from agglomerative foundation models (e.g., RADIO) with geometric scene information. This coupling takes place in initialization, optimization and factor graph connections to improve the consistency of the map from multiple modalities. The optimization is wrapped within adaptive robust kernels, designed to handle both actively moving objects and agent-displaced scene elements (e.g., furniture rearranged during ego-centric session). Experiments demonstrate that RADIO-ViPE achieves state-of-the-art results on the dynamic TUM-RGBD benchmark while maintaining competitive performance against offline open-vocabulary methods that rely on calibrated data and static scene assumptions. RADIO-ViPE bridges a critical gap in real-world deployment, enabling robust open-vocabulary semantic grounding for autonomous robotics and unconstrained in-the-wild video streams. Project page: https://be2rlab.github.io/radio_vipe