Обучение на видеоданных для 3D-мира: Улучшение мультимодальных языковых моделей с использованием геометрических приоритетов в 3D-зрении

Learning from Videos for 3D World: Enhancing MLLMs with 3D Vision Geometry Priors

May 30, 2025

Авторы: Duo Zheng, Shijia Huang, Yanyang Li, Liwei Wang

cs.AI

Аннотация

Предыдущие исследования изучали применение мультимодальных больших языковых моделей (MLLM) для понимания 3D-сцен путем их интерпретации как видеопоследовательностей. Эти подходы, как правило, зависят от комплексных входных данных 3D, таких как облака точек или реконструированные карты вида с высоты птичьего полета (BEV). В нашей работе мы продвигаем эту область, улучшая способность MLLM понимать и рассуждать в 3D-пространствах непосредственно на основе видеоданных, без необходимости дополнительных 3D-входов. Мы предлагаем новый и эффективный метод — Video-3D Geometry Large Language Model (VG LLM). Наш подход использует 3D визуальный геометрический кодировщик, который извлекает априорную 3D-информацию из видеопоследовательностей. Эта информация интегрируется с визуальными токенами и передается в MLLM. Многочисленные эксперименты показали, что наш метод достиг значительных улучшений в различных задачах, связанных с пониманием 3D-сцен и пространственным рассуждением, при этом обучение происходит непосредственно на основе видеоисточников. Примечательно, что наша 4B-модель, которая не использует явные 3D-данные, демонстрирует конкурентоспособные результаты по сравнению с существующими передовыми методами и даже превосходит Gemini-1.5-Pro в оценках VSI-Bench.

English

Previous research has investigated the application of Multimodal Large Language Models (MLLMs) in understanding 3D scenes by interpreting them as videos. These approaches generally depend on comprehensive 3D data inputs, such as point clouds or reconstructed Bird's-Eye View (BEV) maps. In our research, we advance this field by enhancing the capability of MLLMs to understand and reason in 3D spaces directly from video data, without the need for additional 3D input. We propose a novel and efficient method, the Video-3D Geometry Large Language Model (VG LLM). Our approach employs a 3D visual geometry encoder that extracts 3D prior information from video sequences. This information is integrated with visual tokens and fed into the MLLM. Extensive experiments have shown that our method has achieved substantial improvements in various tasks related to 3D scene understanding and spatial reasoning, all directly learned from video sources. Impressively, our 4B model, which does not rely on explicit 3D data inputs, achieves competitive results compared to existing state-of-the-art methods, and even surpasses the Gemini-1.5-Pro in the VSI-Bench evaluations.