Hetzelfde maar toch anders: Structurele overeenkomsten en verschillen in meertalige taalmodellering.

The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling

October 11, 2024

Auteurs: Ruochen Zhang, Qinan Yu, Matianyu Zang, Carsten Eickhoff, Ellie Pavlick

cs.AI

Samenvatting

We maken gebruik van nieuwe tools uit mechanistische interpreteerbaarheid om te onderzoeken of de interne structuur van grote taalmodellen (LLM's) overeenkomt met de linguïstische structuren die aan de talen ten grondslag liggen waarop ze zijn getraind. In het bijzonder stellen we de volgende vragen: (1) wanneer twee talen dezelfde morfosyntactische processen gebruiken, behandelen LLM's deze dan met gedeelde interne schakelingen? en (2) wanneer twee talen verschillende morfosyntactische processen vereisen, behandelen LLM's deze dan met verschillende interne schakelingen? Met behulp van Engelse en Chinese meertalige en eentalige modellen analyseren we de interne schakelingen die betrokken zijn bij twee taken. We vinden bewijs dat modellen dezelfde schakeling gebruiken om hetzelfde syntactische proces te behandelen, ongeacht de taal waarin het voorkomt, en dat dit zelfs het geval is voor eentalige modellen die volledig onafhankelijk zijn getraind. Bovendien tonen we aan dat meertalige modellen taalspecifieke componenten (aandachtsmechanismen en feedforward-netwerken) gebruiken wanneer dat nodig is om linguïstische processen (bijv. morfologische markering) te behandelen die alleen in sommige talen voorkomen. Samen bieden onze resultaten nieuwe inzichten in hoe LLM's een afweging maken tussen het benutten van gemeenschappelijke structuren en het behouden van linguïstische verschillen wanneer ze belast zijn met het modelleren van meerdere talen tegelijk.

English

We employ new tools from mechanistic interpretability in order to ask whether the internal structure of large language models (LLMs) shows correspondence to the linguistic structures which underlie the languages on which they are trained. In particular, we ask (1) when two languages employ the same morphosyntactic processes, do LLMs handle them using shared internal circuitry? and (2) when two languages require different morphosyntactic processes, do LLMs handle them using different internal circuitry? Using English and Chinese multilingual and monolingual models, we analyze the internal circuitry involved in two tasks. We find evidence that models employ the same circuit to handle the same syntactic process independently of the language in which it occurs, and that this is the case even for monolingual models trained completely independently. Moreover, we show that multilingual models employ language-specific components (attention heads and feed-forward networks) when needed to handle linguistic processes (e.g., morphological marking) that only exist in some languages. Together, our results provide new insights into how LLMs trade off between exploiting common structures and preserving linguistic differences when tasked with modeling multiple languages simultaneously.