Ontstaat Ruimtelijk Cognitie in Grensmodellen?

Does Spatial Cognition Emerge in Frontier Models?

October 9, 2024

Auteurs: Santhosh Kumar Ramakrishnan, Erik Wijmans, Philipp Kraehenbuehl, Vladlen Koltun

cs.AI

Samenvatting

Nog niet. We presenteren SPACE, een benchmark die systematisch ruimtelijk denken evalueert in grensverleggende modellen. Onze benchmark bouwt voort op tientallen jaren onderzoek in cognitieve wetenschap. Het evalueert de mapping-vaardigheden op grote schaal die worden ingezet wanneer een organisme fysieke omgevingen doorkruist, redeneren op kleinere schaal over objectvormen en -indelingen, en cognitieve infrastructuur zoals ruimtelijke aandacht en geheugen. Voor veel taken instantiëren we parallelle presentaties via tekst en afbeeldingen, waardoor we zowel grote taalmodellen als grote multimodale modellen kunnen beoordelen. Resultaten suggereren dat hedendaagse grensverleggende modellen tekortschieten in de ruimtelijke intelligentie van dieren, waarbij ze op een aantal klassieke tests van dierlijke cognitie bijna op kansniveau presteren.

English

Not yet. We present SPACE, a benchmark that systematically evaluates spatial cognition in frontier models. Our benchmark builds on decades of research in cognitive science. It evaluates large-scale mapping abilities that are brought to bear when an organism traverses physical environments, smaller-scale reasoning about object shapes and layouts, and cognitive infrastructure such as spatial attention and memory. For many tasks, we instantiate parallel presentations via text and images, allowing us to benchmark both large language models and large multimodal models. Results suggest that contemporary frontier models fall short of the spatial intelligence of animals, performing near chance level on a number of classic tests of animal cognition.