O Mesmo, Mas Diferente: Similaridades e Diferenças Estruturais na Modelagem de Linguagem Multilíngue

The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling

October 11, 2024

Autores: Ruochen Zhang, Qinan Yu, Matianyu Zang, Carsten Eickhoff, Ellie Pavlick

cs.AI

Resumo

Empregamos novas ferramentas de interpretabilidade mecanicista para questionar se a estrutura interna dos grandes modelos de linguagem (LLMs) apresenta correspondência com as estruturas linguísticas subjacentes às línguas nas quais são treinados. Em particular, questionamos (1) quando duas línguas empregam os mesmos processos morfossintáticos, os LLMs os lidam utilizando circuitos internos compartilhados? e (2) quando duas línguas requerem processos morfossintáticos diferentes, os LLMs os lidam utilizando circuitos internos distintos? Utilizando modelos multilíngues e monolíngues em inglês e chinês, analisamos os circuitos internos envolvidos em duas tarefas. Encontramos evidências de que os modelos empregam o mesmo circuito para lidar com o mesmo processo sintático independentemente da língua na qual ocorre, e que esse é o caso mesmo para modelos monolíngues treinados completamente de forma independente. Além disso, demonstramos que os modelos multilíngues empregam componentes específicos da língua (cabeças de atenção e redes feed-forward) quando necessário para lidar com processos linguísticos (por exemplo, marcação morfológica) que existem apenas em algumas línguas. Em conjunto, nossos resultados fornecem novas perspectivas sobre como os LLMs equilibram entre explorar estruturas comuns e preservar diferenças linguísticas ao lidar com a modelagem de várias línguas simultaneamente.

English

We employ new tools from mechanistic interpretability in order to ask whether the internal structure of large language models (LLMs) shows correspondence to the linguistic structures which underlie the languages on which they are trained. In particular, we ask (1) when two languages employ the same morphosyntactic processes, do LLMs handle them using shared internal circuitry? and (2) when two languages require different morphosyntactic processes, do LLMs handle them using different internal circuitry? Using English and Chinese multilingual and monolingual models, we analyze the internal circuitry involved in two tasks. We find evidence that models employ the same circuit to handle the same syntactic process independently of the language in which it occurs, and that this is the case even for monolingual models trained completely independently. Moreover, we show that multilingual models employ language-specific components (attention heads and feed-forward networks) when needed to handle linguistic processes (e.g., morphological marking) that only exist in some languages. Together, our results provide new insights into how LLMs trade off between exploiting common structures and preserving linguistic differences when tasked with modeling multiple languages simultaneously.