Stream3D-VLM: Online-3D-Raumverständnis mit inkrementellen Geometrie-Priors

Zusammenfassung

Trotz Fortschritten im 3D-Szenenverständnis arbeiten bestehende große multimodale 3D-Modelle in Offline-Umgebungen, die vollständige Szenenbeobachtungen oder vordefinierte Videoclips erfordern. In diesem Artikel stellen wir ein Online-3D-Sprachmodell vor, das ein räumliches Verständnis in Echtzeit aus Streaming-Videos ermöglicht. Unser Ansatz verwendet eine autoregressive Streaming-Steuerungsmodellierung auf Basis des Next-Token-Prediction-Ziels des LLM, um zu lernen, wann eine Antwort erfolgen soll, und setzt ein leichtgewichtiges Visual-Spatial Feature Integration (VSFI)-Modul ein, um zeitlich ausgerichtete Geometrie-Priors inkrementell in den visuellen Stream einzuspeisen. Um den Decodierungsaufwand bei langen Kontexten zu verringern, schlagen wir ein Plug-and-Play-Modul zur geometrieadaptiven Voxelkompression (GAVC) für eine effiziente Kompression visueller Tokens vor. Um die Knappheit an Streaming-3D-Sprachdaten zu adressieren, entwickeln wir zudem eine skalierbare Datengenerierungspipeline, die über 1 Million Online-räumlich-zeitliche 3D-QA-Paare kuratiert und einen umfassenden Benchmark mit 29 Aufgaben etabliert. Umfangreiche Experimente zeigen, dass unser Ansatz sowohl proprietäre als auch Open-Source-Modelle bei Online- und Offline-3D-Raumverständnis, -schlussfolgerung und -grundierungsaufgaben signifikant übertrifft. Die Projektseite ist verfügbar unter https://stream3d-vlm.github.io/.

English

Despite advances in 3D scene understanding, existing 3D Large Multimodal Models operate in offline settings, requiring complete scene observations or predefined video clips. In this paper, we present an online 3D vision-language model that enables real-time spatial understanding from streaming video. Our approach adopts an autoregressive streaming control modeling based on the LLM's next-token prediction objective to learn when to respond, and employs a lightweight Visual-Spatial Feature Integration (VSFI) module to incrementally inject temporally aligned geometry priors into the visual stream. To alleviate long-context decoding overhead, we propose a plug-and-play Geometry-Adaptive Voxel Compression (GAVC) module for efficient visual token compression. To address the scarcity of streaming 3D-language data, we further develop a scalable data generation pipeline that curates over 1M online spatio-temporal 3D QA pairs and establishes a comprehensive benchmark spanning 29 tasks. Extensive experiments show that our approach significantly outperforms both proprietary and open-source models across online and offline 3D spatial understanding, reasoning, and grounding tasks. The project page is available at https://stream3d-vlm.github.io/