Est-ce que la cognition spatiale émerge dans les modèles frontières ?

Does Spatial Cognition Emerge in Frontier Models?

October 9, 2024

Auteurs: Santhosh Kumar Ramakrishnan, Erik Wijmans, Philipp Kraehenbuehl, Vladlen Koltun

cs.AI

Résumé

Pas encore. Nous présentons SPACE, un banc d'essai qui évalue systématiquement la cognition spatiale dans les modèles de pointe. Notre banc d'essai s'appuie sur des décennies de recherche en sciences cognitives. Il évalue les capacités de cartographie à grande échelle mises en œuvre lorsque qu'un organisme traverse des environnements physiques, la capacité de raisonnement à plus petite échelle sur les formes et agencements d'objets, ainsi que l'infrastructure cognitive telle que l'attention spatiale et la mémoire. Pour de nombreuses tâches, nous instancions des présentations parallèles via du texte et des images, ce qui nous permet d'évaluer à la fois de grands modèles de langage et de grands modèles multimodaux. Les résultats suggèrent que les modèles de pointe contemporains sont en deçà de l'intelligence spatiale des animaux, obtenant des performances proches du hasard sur un certain nombre de tests classiques de la cognition animale.

English

Not yet. We present SPACE, a benchmark that systematically evaluates spatial cognition in frontier models. Our benchmark builds on decades of research in cognitive science. It evaluates large-scale mapping abilities that are brought to bear when an organism traverses physical environments, smaller-scale reasoning about object shapes and layouts, and cognitive infrastructure such as spatial attention and memory. For many tasks, we instantiate parallel presentations via text and images, allowing us to benchmark both large language models and large multimodal models. Results suggest that contemporary frontier models fall short of the spatial intelligence of animals, performing near chance level on a number of classic tests of animal cognition.