EmbodiedSplat: Онлайн семантический 3DGS с прямой передачей для трехмерного понимания сцен с открытым словарем
EmbodiedSplat: Online Feed-Forward Semantic 3DGS for Open-Vocabulary 3D Scene Understanding
March 4, 2026
Авторы: Seungjun Lee, Zihan Wang, Yunsong Wang, Gim Hee Lee
cs.AI
Аннотация
Быстрое понимание трехмерной сцены в процессе ее исследования крайне важно для воплощенных задач, где агент должен строить и осмысливать 3D-сцену в онлайн-режиме и практически в реальном времени. В данном исследовании мы представляем EmbodiedSplat — онлайн feed-forward 3DGS для открыто-словарного понимания сцены, который позволяет одновременно выполнять онлайн-реконструкцию 3D-сцены и семантическое 3D-понимание на основе потока изображений. В отличие от существующих методов открыто-словарного 3DGS, которые обычно ограничены офлайн-настройкой или оптимизацией для конкретной сцены, наши цели двунаправлены: 1) Реконструировать семантически-встроенный 3DGS всей сцены из более чем 300 потоковых изображений в онлайн-режиме. 2) Обеспечить высокую обобщаемость на новые сцены благодаря feed-forward архитектуре и поддержку почти реального времени для 3D-семантической реконструкции в сочетании с моделями 2D-реального времени. Для достижения этих целей мы предлагаем Поле разреженных онлайн-коэффициентов с глобальным кодбуком CLIP, которое привязывает 2D-эмбеддинги CLIP к каждому 3D-гауссову распределению, минимизируя потребление памяти и сохраняя полную семантическую обобщаемость CLIP. Кроме того, мы генерируем 3D-геометрически осознанные признаки CLIP путем агрегации частичного облака точек 3DGS с помощью 3D U-Net, чтобы компенсировать недостаток 3D-геометрического априори для языковых эмбеддингов, ориентированных на 2D. Многочисленные эксперименты на различных наборах данных по внутренним сценам, включая ScanNet, ScanNet++ и Replica, демонстрируют как эффективность, так и производительность нашего метода. С проектной страницей можно ознакомиться по адресу: https://0nandon.github.io/EmbodiedSplat/.
English
Understanding a 3D scene immediately with its exploration is essential for embodied tasks, where an agent must construct and comprehend the 3D scene in an online and nearly real-time manner. In this study, we propose EmbodiedSplat, an online feed-forward 3DGS for open-vocabulary scene understanding that enables simultaneous online 3D reconstruction and 3D semantic understanding from the streaming images. Unlike existing open-vocabulary 3DGS methods which are typically restricted to either offline or per-scene optimization setting, our objectives are two-fold: 1) Reconstructs the semantic-embedded 3DGS of the entire scene from over 300 streaming images in an online manner. 2) Highly generalizable to novel scenes with feed-forward design and supports nearly real-time 3D semantic reconstruction when combined with real-time 2D models. To achieve these objectives, we propose an Online Sparse Coefficients Field with a CLIP Global Codebook where it binds the 2D CLIP embeddings to each 3D Gaussian while minimizing memory consumption and preserving the full semantic generalizability of CLIP. Furthermore, we generate 3D geometric-aware CLIP features by aggregating the partial point cloud of 3DGS through 3D U-Net to compensate the 3D geometric prior to 2D-oriented language embeddings. Extensive experiments on diverse indoor datasets, including ScanNet, ScanNet++, and Replica, demonstrate both the effectiveness and efficiency of our method. Check out our project page in https://0nandon.github.io/EmbodiedSplat/.