Wie weit entfernt sind VLMs von visueller räumlicher Intelligenz? Eine Benchmark-gestützte Perspektive

papers.abstract

Visuell-räumliches Denken (Visual Spatial Reasoning, VSR) ist eine zentrale menschliche kognitive Fähigkeit und eine entscheidende Voraussetzung für die Weiterentwicklung verkörperter Intelligenz und autonomer Systeme. Trotz jüngster Fortschritte bei Vision-Language-Modellen (VLMs) bleibt die Erreichung eines menschenähnlichen VSR aufgrund der Komplexität der Darstellung und des Denkens in dreidimensionalen Räumen äußerst herausfordernd. In diesem Artikel präsentieren wir eine systematische Untersuchung von VSR in VLMs, die eine Überprüfung bestehender Methoden in Bezug auf Eingabemodalitäten, Modellarchitekturen, Trainingsstrategien und Denkmechanismen umfasst. Darüber hinaus kategorisieren wir räumliche Intelligenz in drei Fähigkeitsstufen, nämlich grundlegende Wahrnehmung, räumliches Verständnis und räumliche Planung, und stellen SIBench vor, einen Benchmark für räumliche Intelligenz, der nahezu 20 Open-Source-Datensätze über 23 Aufgabenstellungen umfasst. Experimente mit state-of-the-art VLMs zeigen eine deutliche Lücke zwischen Wahrnehmung und Denken, da Modelle zwar Kompetenz bei grundlegenden Wahrnehmungsaufgaben zeigen, jedoch durchweg bei Verständnis- und Planungsaufgaben, insbesondere bei numerischer Schätzung, Multi-View-Denken, zeitlicher Dynamik und räumlicher Vorstellungskraft, unterdurchschnittlich abschneiden. Diese Ergebnisse unterstreichen die erheblichen Herausforderungen, die bei der Erreichung räumlicher Intelligenz bestehen, und bieten gleichzeitig einen systematischen Fahrplan sowie einen umfassenden Benchmark, um zukünftige Forschung in diesem Bereich voranzutreiben. Die zugehörigen Ressourcen dieser Studie sind unter https://sibench.github.io/Awesome-Visual-Spatial-Reasoning/ zugänglich.

English

Visual Spatial Reasoning (VSR) is a core human cognitive ability and a critical requirement for advancing embodied intelligence and autonomous systems. Despite recent progress in Vision-Language Models (VLMs), achieving human-level VSR remains highly challenging due to the complexity of representing and reasoning over three-dimensional space. In this paper, we present a systematic investigation of VSR in VLMs, encompassing a review of existing methodologies across input modalities, model architectures, training strategies, and reasoning mechanisms. Furthermore, we categorize spatial intelligence into three levels of capability, ie, basic perception, spatial understanding, spatial planning, and curate SIBench, a spatial intelligence benchmark encompassing nearly 20 open-source datasets across 23 task settings. Experiments with state-of-the-art VLMs reveal a pronounced gap between perception and reasoning, as models show competence in basic perceptual tasks but consistently underperform in understanding and planning tasks, particularly in numerical estimation, multi-view reasoning, temporal dynamics, and spatial imagination. These findings underscore the substantial challenges that remain in achieving spatial intelligence, while providing both a systematic roadmap and a comprehensive benchmark to drive future research in the field. The related resources of this study are accessible at https://sibench.github.io/Awesome-Visual-Spatial-Reasoning/.

Wie weit entfernt sind VLMs von visueller räumlicher Intelligenz? Eine Benchmark-gestützte Perspektive

How Far are VLMs from Visual Spatial Intelligence? A Benchmark-Driven Perspective

papers.abstract

Support