Геопространственная механистическая интерпретируемость больших языковых моделей

Geospatial Mechanistic Interpretability of Large Language Models

May 6, 2025

Авторы: Stef De Sabbata, Stefano Mizzaro, Kevin Roitero

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали беспрецедентные возможности в различных задачах обработки естественного языка. Их способность обрабатывать и генерировать осмысленный текст и код сделала их повсеместно используемыми во многих областях, в то время как их применение в качестве баз знаний и инструментов "рассуждения" остается областью активных исследований. В географии растущий объем литературы сосредоточен на оценке географических знаний LLM и их способности выполнять пространственные рассуждения. Однако до сих пор мало что известно о внутреннем функционировании этих моделей, особенно о том, как они обрабатывают географическую информацию. В этой главе мы предлагаем новый подход к изучению геопространственной механистической интерпретируемости — использование пространственного анализа для обратного проектирования того, как LLM обрабатывают географическую информацию. Наша цель — углубить понимание внутренних представлений, которые эти сложные модели генерируют при обработке географической информации, — то, что можно было бы назвать "как LLM думают о географической информации", если бы такая формулировка не была излишним антропоморфизмом. Сначала мы описываем использование зондирования для выявления внутренних структур в LLM. Затем мы знакомим с областью механистической интерпретируемости, обсуждая гипотезу суперпозиции и роль разреженных автокодировщиков в разделении полисемантических внутренних представлений LLM на более интерпретируемые моносемантические признаки. В наших экспериментах мы используем пространственную автокорреляцию, чтобы показать, как признаки, полученные для названий мест, демонстрируют пространственные закономерности, связанные с их географическим положением, и, таким образом, могут быть интерпретированы геопространственно, что дает представление о том, как эти модели обрабатывают географическую информацию. В заключение мы обсуждаем, как наш подход может способствовать изучению и использованию базовых моделей в географии.

English

Large Language Models (LLMs) have demonstrated unprecedented capabilities across various natural language processing tasks. Their ability to process and generate viable text and code has made them ubiquitous in many fields, while their deployment as knowledge bases and "reasoning" tools remains an area of ongoing research. In geography, a growing body of literature has been focusing on evaluating LLMs' geographical knowledge and their ability to perform spatial reasoning. However, very little is still known about the internal functioning of these models, especially about how they process geographical information. In this chapter, we establish a novel framework for the study of geospatial mechanistic interpretability - using spatial analysis to reverse engineer how LLMs handle geographical information. Our aim is to advance our understanding of the internal representations that these complex models generate while processing geographical information - what one might call "how LLMs think about geographic information" if such phrasing was not an undue anthropomorphism. We first outline the use of probing in revealing internal structures within LLMs. We then introduce the field of mechanistic interpretability, discussing the superposition hypothesis and the role of sparse autoencoders in disentangling polysemantic internal representations of LLMs into more interpretable, monosemantic features. In our experiments, we use spatial autocorrelation to show how features obtained for placenames display spatial patterns related to their geographic location and can thus be interpreted geospatially, providing insights into how these models process geographical information. We conclude by discussing how our framework can help shape the study and use of foundation models in geography.