Penser dans l'espace : Comment les grands modèles de langage multimodaux voient, se souviennent et rappellent les espaces

Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

December 18, 2024

Auteurs: Jihan Yang, Shusheng Yang, Anjali W. Gupta, Rilyn Han, Li Fei-Fei, Saining Xie

cs.AI

Résumé

Les humains possèdent l'intelligence visuo-spatiale pour se souvenir des espaces à partir d'observations visuelles séquentielles. Cependant, est-ce que les Modèles de Langage Multimodaux à Grande Échelle (MLLMs) entraînés sur des ensembles de données vidéo à grande échelle peuvent aussi "penser dans l'espace" à partir de vidéos ? Nous présentons un nouveau banc d'essai d'intelligence visuo-spatiale basé sur la vidéo (VSI-Bench) comprenant plus de 5 000 paires question-réponse, et constatons que les MLLMs présentent une intelligence visuo-spatiale compétitive - bien que sous-humaine. Nous interrogeons les modèles pour qu'ils expriment comment ils pensent dans l'espace à la fois linguistiquement et visuellement, et constatons que bien que les capacités de raisonnement spatial restent le principal goulot d'étranglement pour que les MLLMs atteignent des performances supérieures au banc d'essai, des modèles locaux du monde et une conscience spatiale émergent au sein de ces modèles. Notamment, les techniques de raisonnement linguistique prédominantes (par exemple, la chaîne de pensée, la cohérence interne, l'arbre de pensées) échouent à améliorer les performances, tandis que la génération explicite de cartes cognitives lors de la réponse aux questions améliore la capacité des MLLMs à évaluer les distances spatiales.

English

Humans possess the visual-spatial intelligence to remember spaces from sequential visual observations. However, can Multimodal Large Language Models (MLLMs) trained on million-scale video datasets also ``think in space'' from videos? We present a novel video-based visual-spatial intelligence benchmark (VSI-Bench) of over 5,000 question-answer pairs, and find that MLLMs exhibit competitive - though subhuman - visual-spatial intelligence. We probe models to express how they think in space both linguistically and visually and find that while spatial reasoning capabilities remain the primary bottleneck for MLLMs to reach higher benchmark performance, local world models and spatial awareness do emerge within these models. Notably, prevailing linguistic reasoning techniques (e.g., chain-of-thought, self-consistency, tree-of-thoughts) fail to improve performance, whereas explicitly generating cognitive maps during question-answering enhances MLLMs' spatial distance ability.