A Hipótese do Centro Semântico: Modelos de Linguagem Compartilham Representações Semânticas Entre Idiomas e Modalidades

The Semantic Hub Hypothesis: Language Models Share Semantic Representations Across Languages and Modalities

November 7, 2024

Autores: Zhaofeng Wu, Xinyan Velocity Yu, Dani Yogatama, Jiasen Lu, Yoon Kim

cs.AI

Resumo

Os modelos de linguagem modernos podem processar entradas em diversas línguas e modalidades. Nossa hipótese é que os modelos adquirem essa capacidade através da aprendizagem de um espaço de representação compartilhado entre tipos de dados heterogêneos (por exemplo, diferentes línguas e modalidades), que coloca entradas semanticamente similares próximas umas das outras, mesmo que sejam de modalidades/línguas diferentes. Chamamos isso de hipótese do hub semântico, seguindo o modelo hub-and-spoke da neurociência (Patterson et al., 2007), que postula que o conhecimento semântico no cérebro humano é organizado através de um "hub" semântico transmodal que integra informações de diversas regiões "spokes" específicas de modalidade. Primeiramente, demonstramos que as representações do modelo para entradas semanticamente equivalentes em diferentes línguas são similares nas camadas intermediárias, e que este espaço pode ser interpretado usando a língua dominante de pré-treinamento do modelo através da lente logit. Essa tendência se estende a outros tipos de dados, incluindo expressões aritméticas, código e entradas visuais/auditivas. Intervenções no espaço de representação compartilhado em um tipo de dado também afetam de forma previsível as saídas do modelo em outros tipos de dados, sugerindo que este espaço de representações compartilhadas não é simplesmente um subproduto vestigial do treinamento em larga escala em dados amplos, mas algo que é ativamente utilizado pelo modelo durante o processamento de entradas.

English

Modern language models can process inputs across diverse languages and modalities. We hypothesize that models acquire this capability through learning a shared representation space across heterogeneous data types (e.g., different languages and modalities), which places semantically similar inputs near one another, even if they are from different modalities/languages. We term this the semantic hub hypothesis, following the hub-and-spoke model from neuroscience (Patterson et al., 2007) which posits that semantic knowledge in the human brain is organized through a transmodal semantic "hub" which integrates information from various modality-specific "spokes" regions. We first show that model representations for semantically equivalent inputs in different languages are similar in the intermediate layers, and that this space can be interpreted using the model's dominant pretraining language via the logit lens. This tendency extends to other data types, including arithmetic expressions, code, and visual/audio inputs. Interventions in the shared representation space in one data type also predictably affect model outputs in other data types, suggesting that this shared representations space is not simply a vestigial byproduct of large-scale training on broad data, but something that is actively utilized by the model during input processing.