Гипотеза семантического центра: языковые модели делятся семантическими представлениями между языками и модальностями.

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

Авторы: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

Аннотация

Современные языковые модели способны обрабатывать входные данные на различных языках и модальностях. Мы предполагаем, что модели обретают эту способность благодаря обучению общему пространству представлений разнородных типов данных (например, различные языки и модальности), которое помещает семантически схожие входные данные близко друг к другу, даже если они принадлежат к разным модальностям/языкам. Мы называем это семантической гипотезой центрального узла, следуя модели "центральный узел и лучи" из нейронауки (Паттерсон и др., 2007), которая утверждает, что семантические знания в человеческом мозге организованы через трансмодальный семантический "центральный узел", интегрирующий информацию из различных модальностей. Сначала мы показываем, что представления модели для семантически эквивалентных входных данных на разных языках схожи на промежуточных уровнях, и что это пространство может быть интерпретировано с использованием доминирующего языка предварительного обучения модели через призму логитов. Эта тенденция распространяется на другие типы данных, включая арифметические выражения, код и визуальные/аудио входы. Вмешательства в общем пространстве представлений одного типа данных также предсказуемо влияют на выходы модели в других типах данных, что указывает на то, что это общее пространство представлений не просто является следствием масштабного обучения на широком спектре данных, а что-то, что активно используется моделью во время обработки входных данных.

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.