Interpretabilidad Mecanicista Geoespacial de Modelos de Lenguaje a Gran Escala

Geospatial Mechanistic Interpretability of Large Language Models

May 6, 2025

Autores: Stef De Sabbata, Stefano Mizzaro, Kevin Roitero

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades sin precedentes en diversas tareas de procesamiento del lenguaje natural. Su habilidad para procesar y generar texto y código viables los ha hecho omnipresentes en muchos campos, mientras que su implementación como bases de conocimiento y herramientas de "razonamiento" sigue siendo un área de investigación en curso. En geografía, un creciente cuerpo de literatura se ha centrado en evaluar el conocimiento geográfico de los LLMs y su capacidad para realizar razonamiento espacial. Sin embargo, aún se sabe muy poco sobre el funcionamiento interno de estos modelos, especialmente sobre cómo procesan la información geográfica. En este capítulo, establecemos un marco novedoso para el estudio de la interpretabilidad mecanicista geoespacial, utilizando análisis espacial para ingeniería inversa sobre cómo los LLMs manejan la información geográfica. Nuestro objetivo es avanzar en la comprensión de las representaciones internas que estos modelos complejos generan al procesar información geográfica, lo que podríamos llamar "cómo piensan los LLMs sobre la información geográfica", si tal expresión no fuera un antropomorfismo indebido. Primero, delineamos el uso de sondeos para revelar estructuras internas dentro de los LLMs. Luego, introducimos el campo de la interpretabilidad mecanicista, discutiendo la hipótesis de superposición y el papel de los autoencoders dispersos en desentrañar las representaciones internas polisemánticas de los LLMs en características más interpretables y monosemánticas. En nuestros experimentos, utilizamos la autocorrelación espacial para mostrar cómo las características obtenidas para nombres de lugares exhiben patrones espaciales relacionados con su ubicación geográfica y, por lo tanto, pueden interpretarse geoespacialmente, ofreciendo insights sobre cómo estos modelos procesan la información geográfica. Concluimos discutiendo cómo nuestro marco puede ayudar a moldear el estudio y uso de modelos fundacionales en geografía.

English

Large Language Models (LLMs) have demonstrated unprecedented capabilities across various natural language processing tasks. Their ability to process and generate viable text and code has made them ubiquitous in many fields, while their deployment as knowledge bases and "reasoning" tools remains an area of ongoing research. In geography, a growing body of literature has been focusing on evaluating LLMs' geographical knowledge and their ability to perform spatial reasoning. However, very little is still known about the internal functioning of these models, especially about how they process geographical information. In this chapter, we establish a novel framework for the study of geospatial mechanistic interpretability - using spatial analysis to reverse engineer how LLMs handle geographical information. Our aim is to advance our understanding of the internal representations that these complex models generate while processing geographical information - what one might call "how LLMs think about geographic information" if such phrasing was not an undue anthropomorphism. We first outline the use of probing in revealing internal structures within LLMs. We then introduce the field of mechanistic interpretability, discussing the superposition hypothesis and the role of sparse autoencoders in disentangling polysemantic internal representations of LLMs into more interpretable, monosemantic features. In our experiments, we use spatial autocorrelation to show how features obtained for placenames display spatial patterns related to their geographic location and can thus be interpreted geospatially, providing insights into how these models process geographical information. We conclude by discussing how our framework can help shape the study and use of foundation models in geography.