Denken im Raum: Wie multimodale große Sprachmodelle Räume sehen, erinnern und abrufen

Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

December 18, 2024

Autoren: Jihan Yang, Shusheng Yang, Anjali W. Gupta, Rilyn Han, Li Fei-Fei, Saining Xie

cs.AI

Zusammenfassung

Menschen besitzen die visuell-räumliche Intelligenz, um Räume aus aufeinanderfolgenden visuellen Beobachtungen zu merken. Aber können Multimodale Große Sprachmodelle (MLLMs), die auf Videos mit Millionen von Daten trainiert sind, auch "im Raum denken" basierend auf Videos? Wir präsentieren einen neuartigen Benchmark für visuell-räumliche Intelligenz auf Videobasis (VSI-Bench) mit über 5.000 Frage-Antwort-Paaren und stellen fest, dass MLLMs eine wettbewerbsfähige - wenn auch untermenschliche - visuell-räumliche Intelligenz aufweisen. Wir untersuchen Modelle, um auszudrücken, wie sie sowohl sprachlich als auch visuell im Raum denken, und stellen fest, dass, während räumliche Denkfähigkeiten weiterhin der Hauptengpass für MLLMs sind, um eine höhere Benchmark-Leistung zu erreichen, lokale Weltmodelle und räumliches Bewusstsein in diesen Modellen auftauchen. Bemerkenswerterweise tragen vorherrschende sprachliche Denktechniken (z.B. Gedankenreihe, Selbstkonsistenz, Gedankenbaum) nicht zur Verbesserung der Leistung bei, während das explizite Generieren kognitiver Karten während des Frage-Antwort-Prozesses die räumliche Distanzfähigkeit von MLLMs verbessert.

English

Humans possess the visual-spatial intelligence to remember spaces from sequential visual observations. However, can Multimodal Large Language Models (MLLMs) trained on million-scale video datasets also ``think in space'' from videos? We present a novel video-based visual-spatial intelligence benchmark (VSI-Bench) of over 5,000 question-answer pairs, and find that MLLMs exhibit competitive - though subhuman - visual-spatial intelligence. We probe models to express how they think in space both linguistically and visually and find that while spatial reasoning capabilities remain the primary bottleneck for MLLMs to reach higher benchmark performance, local world models and spatial awareness do emerge within these models. Notably, prevailing linguistic reasoning techniques (e.g., chain-of-thought, self-consistency, tree-of-thoughts) fail to improve performance, whereas explicitly generating cognitive maps during question-answering enhances MLLMs' spatial distance ability.