Pensando en el Espacio: Cómo los Modelos de Lenguaje Multimodales de Gran Tamaño Perciben, Recuerdan y Recuperan Espacios

Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

December 18, 2024

Autores: Jihan Yang, Shusheng Yang, Anjali W. Gupta, Rilyn Han, Li Fei-Fei, Saining Xie

cs.AI

Resumen

Los humanos poseen la inteligencia visual-espacial para recordar espacios a partir de observaciones visuales secuenciales. Sin embargo, ¿pueden los Modelos de Lenguaje Multimodal a Gran Escala (MLLMs) entrenados en conjuntos de datos de videos a gran escala también "pensar en el espacio" a partir de videos? Presentamos un nuevo banco de pruebas de inteligencia visual-espacial basado en videos (VSI-Bench) con más de 5,000 pares de preguntas y respuestas, y descubrimos que los MLLMs muestran una inteligencia visual-espacial competitiva, aunque subhumana. Indagamos en los modelos para expresar cómo piensan en el espacio tanto lingüística como visualmente, y encontramos que si bien las capacidades de razonamiento espacial siguen siendo el principal cuello de botella para que los MLLMs alcancen un rendimiento superior en el banco de pruebas, los modelos sí desarrollan modelos locales del mundo y conciencia espacial. Es notable que las técnicas de razonamiento lingüístico predominantes (por ejemplo, cadena de pensamiento, autoconsistencia, árbol de pensamientos) no mejoran el rendimiento, mientras que la generación explícita de mapas cognitivos durante la respuesta a preguntas mejora la capacidad de distancia espacial de los MLLMs.

English

Humans possess the visual-spatial intelligence to remember spaces from sequential visual observations. However, can Multimodal Large Language Models (MLLMs) trained on million-scale video datasets also ``think in space'' from videos? We present a novel video-based visual-spatial intelligence benchmark (VSI-Bench) of over 5,000 question-answer pairs, and find that MLLMs exhibit competitive - though subhuman - visual-spatial intelligence. We probe models to express how they think in space both linguistically and visually and find that while spatial reasoning capabilities remain the primary bottleneck for MLLMs to reach higher benchmark performance, local world models and spatial awareness do emerge within these models. Notably, prevailing linguistic reasoning techniques (e.g., chain-of-thought, self-consistency, tree-of-thoughts) fail to improve performance, whereas explicitly generating cognitive maps during question-answering enhances MLLMs' spatial distance ability.