La Hipótesis del Centro Semántico: Los Modelos de Lenguaje Comparten Representaciones Semánticas entre Idiomas y Modalidades.

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

Autores: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

Resumen

Los modelos de lenguaje modernos pueden procesar entradas en diversos idiomas y modalidades. Postulamos que los modelos adquieren esta capacidad a través del aprendizaje de un espacio de representación compartido entre diferentes tipos de datos heterogéneos (por ejemplo, distintos idiomas y modalidades), que coloca entradas semánticamente similares cerca unas de otras, incluso si provienen de diferentes modalidades/idiomas. Denominamos a esto la hipótesis del centro semántico, siguiendo el modelo de centro y radios de la neurociencia (Patterson et al., 2007), el cual postula que el conocimiento semántico en el cerebro humano está organizado a través de un "centro" semántico transmodal que integra información de diversas regiones "radios" específicas de cada modalidad. Primero demostramos que las representaciones del modelo para entradas semánticamente equivalentes en diferentes idiomas son similares en las capas intermedias, y que este espacio puede ser interpretado utilizando el idioma de preentrenamiento dominante del modelo a través de la lente de logit. Esta tendencia se extiende a otros tipos de datos, incluyendo expresiones aritméticas, código y entradas visuales/auditivas. Las intervenciones en el espacio de representación compartido en un tipo de datos también afectan predeciblemente las salidas del modelo en otros tipos de datos, lo que sugiere que este espacio de representaciones compartidas no es simplemente un subproducto vestigial del entrenamiento a gran escala en datos amplios, sino algo que es activamente utilizado por el modelo durante el procesamiento de entradas.

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.