Обладают ли модели "визуальный язык" внутренними моделями мира? К атомарной оценке

Аннотация

Внутренние модели мира (World Models, WMs) позволяют агентам понимать состояние мира и предсказывать его изменения, служа основой для сложного рассуждения. Современные крупные модели, объединяющие зрение и язык (Vision-Language Models, VLMs), такие как OpenAI o3, GPT-4o и Gemini, демонстрируют потенциал в качестве универсальных WMs. Хотя последние исследования оценили и выявили ограничения в конкретных способностях, таких как визуальное понимание, систематическая оценка фундаментальных возможностей VLMs как WMs до сих пор отсутствует. Опираясь на сравнительную психологию и когнитивную науку, мы предлагаем двухэтапную структуру, которая оценивает Восприятие (визуальное, пространственное, временное, количественное и движение) и Предсказание (механистическое моделирование, транзитивный вывод, композиционный вывод), чтобы провести атомарную оценку VLMs как WMs. Руководствуясь этой структурой, мы представляем WM-ABench — крупномасштабный бенчмарк, включающий 23 детализированных измерения оценки в 6 разнообразных симулированных средах с контролируемыми контрфактуальными симуляциями. Проведя 660 экспериментов на 15 последних коммерческих и открытых VLMs, мы обнаружили, что эти модели демонстрируют значительные ограничения в базовых способностях моделирования мира. Например, почти все модели показывают точность, близкую к случайной, при различении траекторий движения. Кроме того, им не хватает разделенного понимания — например, некоторые модели склонны считать, что синие объекты движутся быстрее, чем зеленые. Более подробные результаты и анализ выявляют существенные разрывы между VLMs и человеческим уровнем моделирования мира.

English

Internal world models (WMs) enable agents to understand the world's state and predict transitions, serving as the basis for advanced deliberative reasoning. Recent large Vision-Language Models (VLMs), such as OpenAI o3, GPT-4o and Gemini, exhibit potential as general-purpose WMs. While the latest studies have evaluated and shown limitations in specific capabilities such as visual understanding, a systematic evaluation of VLMs' fundamental WM abilities remains absent. Drawing on comparative psychology and cognitive science, we propose a two-stage framework that assesses Perception (visual, spatial, temporal, quantitative, and motion) and Prediction (mechanistic simulation, transitive inference, compositional inference) to provide an atomic evaluation of VLMs as WMs. Guided by this framework, we introduce WM-ABench, a large-scale benchmark comprising 23 fine-grained evaluation dimensions across 6 diverse simulated environments with controlled counterfactual simulations. Through 660 experiments on 15 latest commercial and open-source VLMs, we find that these models exhibit striking limitations in basic world modeling abilities. For instance, almost all models perform at near-random accuracy when distinguishing motion trajectories. Additionally, they lack disentangled understanding -- e.g., some models tend to believe blue objects move faster than green ones. More rich results and analyses reveal significant gaps between VLMs and human-level world modeling.

Обладают ли модели "визуальный язык" внутренними моделями мира? К атомарной оценке

Do Vision-Language Models Have Internal World Models? Towards an Atomic Evaluation

Аннотация

Support