Мышление в пространстве: Как мультимодельные большие языковые модели видят, запоминают и вспоминают пространства.

Thinking in Space: How Multimodal Large Language Models See, Remember, and Recall Spaces

December 18, 2024

Авторы: Jihan Yang, Shusheng Yang, Anjali W. Gupta, Rilyn Han, Li Fei-Fei, Saining Xie

cs.AI

Аннотация

У людей есть визуально-пространственный интеллект, позволяющий запоминать пространства по последовательным визуальным наблюдениям. Однако могут ли Мультимодальные Большие Языковые Модели (MLLMs), обученные на миллионных видео наборах данных, также "мыслить в пространстве" по видеозаписям? Мы представляем новый бенчмарк визуально-пространственного интеллекта на основе видео (VSI-Bench) из более чем 5,000 пар вопрос-ответ, и обнаруживаем, что MLLMs проявляют конкурентоспособный - хоть и подчеловеческий - визуально-пространственный интеллект. Мы исследуем модели, чтобы выразить, как они мыслят в пространстве как лингвистически, так и визуально, и обнаруживаем, что хотя способности к пространственному мышлению остаются основным узким местом для достижения более высокой производительности по бенчмаркам для MLLMs, локальные модели мира и пространственное осознание все же проявляются в этих моделях. Особенно следует отметить, что преобладающие лингвистические методы рассуждения (например, цепочка мысли, самосогласованность, древо мыслей) не способствуют улучшению производительности, в то время как явное создание когнитивных карт во время ответов на вопросы улучшает способность MLLMs к пространственной дистанции.

English

Humans possess the visual-spatial intelligence to remember spaces from sequential visual observations. However, can Multimodal Large Language Models (MLLMs) trained on million-scale video datasets also ``think in space'' from videos? We present a novel video-based visual-spatial intelligence benchmark (VSI-Bench) of over 5,000 question-answer pairs, and find that MLLMs exhibit competitive - though subhuman - visual-spatial intelligence. We probe models to express how they think in space both linguistically and visually and find that while spatial reasoning capabilities remain the primary bottleneck for MLLMs to reach higher benchmark performance, local world models and spatial awareness do emerge within these models. Notably, prevailing linguistic reasoning techniques (e.g., chain-of-thought, self-consistency, tree-of-thoughts) fail to improve performance, whereas explicitly generating cognitive maps during question-answering enhances MLLMs' spatial distance ability.