Geospatial Mechanistische Interpretatie van Grote Taalmodellen

Geospatial Mechanistic Interpretability of Large Language Models

May 6, 2025

Auteurs: Stef De Sabbata, Stefano Mizzaro, Kevin Roitero

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben ongekende capaciteiten getoond op verschillende gebieden van natuurlijke taalverwerking. Hun vermogen om bruikbare tekst en code te verwerken en te genereren, heeft ze alomtegenwoordig gemaakt in veel vakgebieden, terwijl hun inzet als kennisbanken en "redeneer"tools een gebied van voortdurend onderzoek blijft. In de geografie richt een groeiend aantal publicaties zich op het evalueren van de geografische kennis van LLMs en hun vermogen om ruimtelijk te redeneren. Er is echter nog steeds weinig bekend over de interne werking van deze modellen, met name over hoe ze geografische informatie verwerken. In dit hoofdstuk stellen we een nieuw kader vast voor de studie van geospatiale mechanistische interpreteerbaarheid – het gebruik van ruimtelijke analyse om te achterhalen hoe LLMs geografische informatie verwerken. Ons doel is om ons begrip te vergroten van de interne representaties die deze complexe modellen genereren tijdens het verwerken van geografische informatie – wat men zou kunnen omschrijven als "hoe LLMs denken over geografische informatie", als zo’n formulering geen ongepaste antropomorfisering zou zijn. We schetsen eerst het gebruik van probing om interne structuren binnen LLMs te onthullen. Vervolgens introduceren we het veld van mechanistische interpreteerbaarheid, waarbij we de superpositiehypothese bespreken en de rol van sparse auto-encoders bij het ontwarren van polysemantische interne representaties van LLMs in meer interpreteerbare, monosemantische kenmerken. In onze experimenten gebruiken we ruimtelijke autocorrelatie om te laten zien hoe kenmerken die voor plaatsnamen zijn verkregen, ruimtelijke patronen vertonen die verband houden met hun geografische locatie en dus geospatiaal geïnterpreteerd kunnen worden. Dit biedt inzichten in hoe deze modellen geografische informatie verwerken. We sluiten af met een bespreking van hoe ons kader kan bijdragen aan de studie en het gebruik van foundation-modellen in de geografie.

English

Large Language Models (LLMs) have demonstrated unprecedented capabilities across various natural language processing tasks. Their ability to process and generate viable text and code has made them ubiquitous in many fields, while their deployment as knowledge bases and "reasoning" tools remains an area of ongoing research. In geography, a growing body of literature has been focusing on evaluating LLMs' geographical knowledge and their ability to perform spatial reasoning. However, very little is still known about the internal functioning of these models, especially about how they process geographical information. In this chapter, we establish a novel framework for the study of geospatial mechanistic interpretability - using spatial analysis to reverse engineer how LLMs handle geographical information. Our aim is to advance our understanding of the internal representations that these complex models generate while processing geographical information - what one might call "how LLMs think about geographic information" if such phrasing was not an undue anthropomorphism. We first outline the use of probing in revealing internal structures within LLMs. We then introduce the field of mechanistic interpretability, discussing the superposition hypothesis and the role of sparse autoencoders in disentangling polysemantic internal representations of LLMs into more interpretable, monosemantic features. In our experiments, we use spatial autocorrelation to show how features obtained for placenames display spatial patterns related to their geographic location and can thus be interpreted geospatially, providing insights into how these models process geographical information. We conclude by discussing how our framework can help shape the study and use of foundation models in geography.