Haben Vision-Sprache-Modelle interne Weltmodelle? Auf dem Weg zu einer atomaren Evaluation

Zusammenfassung

Interne Weltmodelle (WMs) ermöglichen es Agenten, den Zustand der Welt zu verstehen und Übergänge vorherzusagen, was als Grundlage für fortgeschrittenes deliberatives Denken dient. Aktuelle große Vision-Language-Modelle (VLMs) wie OpenAI o3, GPT-4o und Gemini zeigen Potenzial als allgemeine WMs. Während die neuesten Studien spezifische Fähigkeiten wie das visuelle Verständnis bewertet und deren Grenzen aufgezeigt haben, fehlt eine systematische Bewertung der grundlegenden WM-Fähigkeiten von VLMs. Unter Bezugnahme auf die vergleichende Psychologie und Kognitionswissenschaft schlagen wir ein zweistufiges Framework vor, das Wahrnehmung (visuell, räumlich, zeitlich, quantitativ und Bewegung) und Vorhersage (mechanistische Simulation, transitive Inferenz, kompositionelle Inferenz) bewertet, um eine atomare Evaluation von VLMs als WMs zu ermöglichen. Angeleitet durch dieses Framework führen wir WM-ABench ein, einen groß angelegten Benchmark, der 23 fein abgestufte Bewertungsdimensionen über 6 diverse simulierte Umgebungen mit kontrollierten kontrafaktischen Simulationen umfasst. Durch 660 Experimente an 15 aktuellen kommerziellen und Open-Source-VLMs stellen wir fest, dass diese Modelle auffällige Einschränkungen in grundlegenden Fähigkeiten zur Weltmodellierung aufweisen. Beispielsweise erreichen fast alle Modelle eine nahezu zufällige Genauigkeit bei der Unterscheidung von Bewegungsbahnen. Zudem fehlt ihnen ein entkoppeltes Verständnis – einige Modelle neigen beispielsweise dazu, zu glauben, dass blaue Objekte schneller bewegt werden als grüne. Weitere umfangreiche Ergebnisse und Analysen offenbaren signifikante Lücken zwischen VLMs und der menschlichen Weltmodellierung.

English

Internal world models (WMs) enable agents to understand the world's state and predict transitions, serving as the basis for advanced deliberative reasoning. Recent large Vision-Language Models (VLMs), such as OpenAI o3, GPT-4o and Gemini, exhibit potential as general-purpose WMs. While the latest studies have evaluated and shown limitations in specific capabilities such as visual understanding, a systematic evaluation of VLMs' fundamental WM abilities remains absent. Drawing on comparative psychology and cognitive science, we propose a two-stage framework that assesses Perception (visual, spatial, temporal, quantitative, and motion) and Prediction (mechanistic simulation, transitive inference, compositional inference) to provide an atomic evaluation of VLMs as WMs. Guided by this framework, we introduce WM-ABench, a large-scale benchmark comprising 23 fine-grained evaluation dimensions across 6 diverse simulated environments with controlled counterfactual simulations. Through 660 experiments on 15 latest commercial and open-source VLMs, we find that these models exhibit striking limitations in basic world modeling abilities. For instance, almost all models perform at near-random accuracy when distinguishing motion trajectories. Additionally, they lack disentangled understanding -- e.g., some models tend to believe blue objects move faster than green ones. More rich results and analyses reveal significant gaps between VLMs and human-level world modeling.

Haben Vision-Sprache-Modelle interne Weltmodelle? Auf dem Weg zu einer atomaren Evaluation

Do Vision-Language Models Have Internal World Models? Towards an Atomic Evaluation

Zusammenfassung

Support