大規模言語モデルの地理空間的メカニズム解釈可能性

Geospatial Mechanistic Interpretability of Large Language Models

May 6, 2025

著者: Stef De Sabbata, Stefano Mizzaro, Kevin Roitero

cs.AI

要旨

大規模言語モデル（LLMs）は、さまざまな自然言語処理タスクにおいて前例のない能力を発揮してきた。テキストやコードを処理し、有効な出力を生成する能力により、多くの分野で広く利用されるようになった一方で、知識ベースや「推論」ツールとしての展開は、依然として研究が進行中の領域である。地理学においては、LLMsの地理的知識と空間推論能力を評価する研究が増えつつある。しかし、これらのモデルの内部動作、特に地理情報をどのように処理するかについては、まだほとんど知られていない。 本章では、地理空間的メカニズム解釈可能性の研究のための新しいフレームワークを確立する。空間分析を用いて、LLMsが地理情報をどのように扱うかを逆解析することを目指す。私たちの目的は、これらの複雑なモデルが地理情報を処理する際に生成する内部表現をより深く理解することである。もしそのような表現が過度な擬人化でないならば、「LLMsが地理情報についてどのように考えるか」と呼べるかもしれない。 まず、LLMsの内部構造を明らかにするためのプロービングの使用について概説する。次に、メカニズム解釈可能性の分野を紹介し、重ね合わせ仮説とスパースオートエンコーダーの役割について議論する。これらは、LLMsの多義的な内部表現をより解釈可能な単義的な特徴に分解するのに役立つ。私たちの実験では、地名に対して得られた特徴が地理的位置に関連する空間パターンを示すことを空間自己相関を用いて示し、これらのモデルが地理情報をどのように処理するかについての洞察を提供する。最後に、私たちのフレームワークが地理学における基盤モデルの研究と使用をどのように形作るかについて議論する。

English

Large Language Models (LLMs) have demonstrated unprecedented capabilities across various natural language processing tasks. Their ability to process and generate viable text and code has made them ubiquitous in many fields, while their deployment as knowledge bases and "reasoning" tools remains an area of ongoing research. In geography, a growing body of literature has been focusing on evaluating LLMs' geographical knowledge and their ability to perform spatial reasoning. However, very little is still known about the internal functioning of these models, especially about how they process geographical information. In this chapter, we establish a novel framework for the study of geospatial mechanistic interpretability - using spatial analysis to reverse engineer how LLMs handle geographical information. Our aim is to advance our understanding of the internal representations that these complex models generate while processing geographical information - what one might call "how LLMs think about geographic information" if such phrasing was not an undue anthropomorphism. We first outline the use of probing in revealing internal structures within LLMs. We then introduce the field of mechanistic interpretability, discussing the superposition hypothesis and the role of sparse autoencoders in disentangling polysemantic internal representations of LLMs into more interpretable, monosemantic features. In our experiments, we use spatial autocorrelation to show how features obtained for placenames display spatial patterns related to their geographic location and can thus be interpreted geospatially, providing insights into how these models process geographical information. We conclude by discussing how our framework can help shape the study and use of foundation models in geography.