Lernen aus Videos für die 3D-Welt: Verbesserung von MLLMs durch 3D-Vision-Geometrie-Priors

Learning from Videos for 3D World: Enhancing MLLMs with 3D Vision Geometry Priors

May 30, 2025

Autoren: Duo Zheng, Shijia Huang, Yanyang Li, Liwei Wang

cs.AI

Zusammenfassung

Frühere Forschungen haben die Anwendung Multimodaler Großer Sprachmodelle (MLLMs) zur Interpretation von 3D-Szenen durch deren Darstellung als Videos untersucht. Diese Ansätze basieren in der Regel auf umfangreichen 3D-Dateneingaben, wie Punktwolken oder rekonstruierten Vogelperspektiven-Karten (BEV). In unserer Forschung erweitern wir dieses Feld, indem wir die Fähigkeit von MLLMs verbessern, 3D-Räume direkt aus Videodaten zu verstehen und zu analysieren, ohne zusätzliche 3D-Eingaben zu benötigen. Wir schlagen eine neuartige und effiziente Methode vor, das Video-3D-Geometrie-Große Sprachmodell (VG LLM). Unser Ansatz verwendet einen 3D-visuellen Geometrie-Encoder, der 3D-Priorinformationen aus Videosequenzen extrahiert. Diese Informationen werden mit visuellen Tokens kombiniert und in das MLLM eingespeist. Umfangreiche Experimente haben gezeigt, dass unsere Methode erhebliche Verbesserungen in verschiedenen Aufgaben im Zusammenhang mit dem Verständnis von 3D-Szenen und der räumlichen Argumentation erzielt hat, die alle direkt aus Videoquellen gelernt wurden. Beeindruckenderweise erreicht unser 4B-Modell, das nicht auf explizite 3D-Dateneingaben angewiesen ist, wettbewerbsfähige Ergebnisse im Vergleich zu bestehenden State-of-the-Art-Methoden und übertrifft sogar das Gemini-1.5-Pro in den VSI-Bench-Evaluierungen.

English

Previous research has investigated the application of Multimodal Large Language Models (MLLMs) in understanding 3D scenes by interpreting them as videos. These approaches generally depend on comprehensive 3D data inputs, such as point clouds or reconstructed Bird's-Eye View (BEV) maps. In our research, we advance this field by enhancing the capability of MLLMs to understand and reason in 3D spaces directly from video data, without the need for additional 3D input. We propose a novel and efficient method, the Video-3D Geometry Large Language Model (VG LLM). Our approach employs a 3D visual geometry encoder that extracts 3D prior information from video sequences. This information is integrated with visual tokens and fed into the MLLM. Extensive experiments have shown that our method has achieved substantial improvements in various tasks related to 3D scene understanding and spatial reasoning, all directly learned from video sources. Impressively, our 4B model, which does not rely on explicit 3D data inputs, achieves competitive results compared to existing state-of-the-art methods, and even surpasses the Gemini-1.5-Pro in the VSI-Bench evaluations.