Geospatiale mechanistische Interpretierbarkeit von großen Sprachmodellen

Geospatial Mechanistic Interpretability of Large Language Models

May 6, 2025

Autoren: Stef De Sabbata, Stefano Mizzaro, Kevin Roitero

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben beispiellose Fähigkeiten in verschiedenen Aufgaben der natürlichen Sprachverarbeitung demonstriert. Ihre Fähigkeit, brauchbaren Text und Code zu verarbeiten und zu generieren, hat sie in vielen Bereichen allgegenwärtig gemacht, während ihr Einsatz als Wissensdatenbanken und „Denkwerkzeuge“ weiterhin ein Gebiet der laufenden Forschung bleibt. In der Geographie konzentriert sich eine wachsende Literatur darauf, das geographische Wissen von LLMs und ihre Fähigkeit zur räumlichen Schlussfolgerung zu bewerten. Dennoch ist noch sehr wenig über die interne Funktionsweise dieser Modelle bekannt, insbesondere darüber, wie sie geographische Informationen verarbeiten. In diesem Kapitel entwickeln wir einen neuartigen Rahmen für die Untersuchung der georäumlichen mechanistischen Interpretierbarkeit – die Nutzung räumlicher Analysen, um zu rekonstruieren, wie LLMs geographische Informationen verarbeiten. Unser Ziel ist es, das Verständnis der internen Repräsentationen zu vertiefen, die diese komplexen Modelle bei der Verarbeitung geographischer Informationen erzeugen – was man, ohne unangemessene Anthropomorphisierung, als „wie LLMs über geographische Informationen denken“ bezeichnen könnte. Zunächst skizzieren wir den Einsatz von Probing, um interne Strukturen innerhalb von LLMs aufzudecken. Anschließend führen wir das Feld der mechanistischen Interpretierbarkeit ein, diskutieren die Superpositionshypothese und die Rolle spärlicher Autoencoder bei der Entflechtung polysemantischer interner Repräsentationen von LLMs in interpretierbarere, monosemantische Merkmale. In unseren Experimenten verwenden wir räumliche Autokorrelation, um zu zeigen, wie Merkmale, die für Ortsnamen gewonnen wurden, räumliche Muster aufweisen, die mit ihrer geographischen Lage zusammenhängen, und somit georäumlich interpretiert werden können. Dies liefert Einblicke in die Art und Weise, wie diese Modelle geographische Informationen verarbeiten. Abschließend diskutieren wir, wie unser Rahmen die Erforschung und Nutzung von Foundation-Modellen in der Geographie prägen kann.

English

Large Language Models (LLMs) have demonstrated unprecedented capabilities across various natural language processing tasks. Their ability to process and generate viable text and code has made them ubiquitous in many fields, while their deployment as knowledge bases and "reasoning" tools remains an area of ongoing research. In geography, a growing body of literature has been focusing on evaluating LLMs' geographical knowledge and their ability to perform spatial reasoning. However, very little is still known about the internal functioning of these models, especially about how they process geographical information. In this chapter, we establish a novel framework for the study of geospatial mechanistic interpretability - using spatial analysis to reverse engineer how LLMs handle geographical information. Our aim is to advance our understanding of the internal representations that these complex models generate while processing geographical information - what one might call "how LLMs think about geographic information" if such phrasing was not an undue anthropomorphism. We first outline the use of probing in revealing internal structures within LLMs. We then introduce the field of mechanistic interpretability, discussing the superposition hypothesis and the role of sparse autoencoders in disentangling polysemantic internal representations of LLMs into more interpretable, monosemantic features. In our experiments, we use spatial autocorrelation to show how features obtained for placenames display spatial patterns related to their geographic location and can thus be interpreted geospatially, providing insights into how these models process geographical information. We conclude by discussing how our framework can help shape the study and use of foundation models in geography.