セマンティック・ハブ仮説：言語モデルは言語やモダリティを横断した意味表現を共有する

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

著者: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

要旨

現代の言語モデルは、さまざまな言語やモダリティを横断して入力を処理できます。我々は、モデルが異種のデータタイプ（例：異なる言語やモダリティ）にわたる共有表現空間を学習することによって、この能力を獲得すると仮説立てています。この共有表現空間では、意味的に類似した入力が近くに配置され、それらが異なるモダリティ/言語からであっても同様です。我々はこれを「意味的中枢仮説」と呼び、神経科学のハブ・アンド・スポークモデル（Patterson et al., 2007）に従います。このモデルは、人間の脳内の意味知識が、各モダリティに特化した「スポーク」領域からの情報を統合するトランスモーダルな意味「中枢」を介して組織されていると主張しています。まず、異なる言語での意味的に等価な入力に対するモデル表現が中間層で類似しており、この空間はモデルの主要な事前学習言語を通じてロジットレンズを使用して解釈できることを示します。この傾向は、算術式、コード、視覚/音声入力を含む他のデータタイプにも広がります。あるデータタイプで共有表現空間への介入が、他のデータタイプでモデルの出力に予測可能な影響を与えることから、この共有表現空間は単なる広範なデータに対する大規模なトレーニングの副産物ではなく、モデルが入力処理中に積極的に利用するものであると示唆されます。

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.