Stream3D-VLM: Онлайн понимание трехмерного пространства с инкрементальными геометрическими априорными знаниями

Аннотация

Несмотря на прогресс в понимании 3D-сцен, существующие большие мультимодальные 3D-модели работают в офлайн-режиме, требуя полных наблюдений сцены или заранее заданных видеоклипов. В данной работе мы представляем онлайн 3D-модель «язык-зрение», которая обеспечивает пространственное понимание в реальном времени из потокового видео. Наш подход использует авторегрессионное моделирование управления потоком на основе задачи предсказания следующего токена LLM для обучения моментам ответа, а также применяет легковесный модуль интеграции визуально-пространственных признаков (VSFI) для инкрементального внедрения временно согласованных геометрических априорных знаний в визуальный поток. Для снижения вычислительных затрат при декодировании длинных контекстов мы предлагаем подключаемый модуль геометрически-адаптивного сжатия вокселов (GAVC) для эффективного сжатия визуальных токенов. Для решения проблемы нехватки потоковых 3D-языковых данных мы дополнительно разрабатываем масштабируемый конвейер генерации данных, который собирает более 1 млн онлайн пространственно-временных 3D QA-пар и создает комплексный бенчмарк, охватывающий 29 задач. Обширные эксперименты показывают, что наш подход значительно превосходит как проприетарные модели, так и модели с открытым исходным кодом в задачах онлайн и офлайн пространственного понимания, рассуждения и привязки 3D. Страница проекта доступна по адресу https://stream3d-vlm.github.io/.

English

Despite advances in 3D scene understanding, existing 3D Large Multimodal Models operate in offline settings, requiring complete scene observations or predefined video clips. In this paper, we present an online 3D vision-language model that enables real-time spatial understanding from streaming video. Our approach adopts an autoregressive streaming control modeling based on the LLM's next-token prediction objective to learn when to respond, and employs a lightweight Visual-Spatial Feature Integration (VSFI) module to incrementally inject temporally aligned geometry priors into the visual stream. To alleviate long-context decoding overhead, we propose a plug-and-play Geometry-Adaptive Voxel Compression (GAVC) module for efficient visual token compression. To address the scarcity of streaming 3D-language data, we further develop a scalable data generation pipeline that curates over 1M online spatio-temporal 3D QA pairs and establishes a comprehensive benchmark spanning 29 tasks. Extensive experiments show that our approach significantly outperforms both proprietary and open-source models across online and offline 3D spatial understanding, reasoning, and grounding tasks. The project page is available at https://stream3d-vlm.github.io/