Das Gleiche, aber Anders: Strukturelle Ähnlichkeiten und Unterschiede beim Multilingualen Sprachmodellieren

The Same But Different: Structural Similarities and Differences in Multilingual Language Modeling

October 11, 2024

Autoren: Ruochen Zhang, Qinan Yu, Matianyu Zang, Carsten Eickhoff, Ellie Pavlick

cs.AI

Zusammenfassung

Wir verwenden neue Werkzeuge aus dem Bereich der mechanistischen Interpretierbarkeit, um zu untersuchen, ob die interne Struktur großer Sprachmodelle (LLMs) mit den sprachlichen Strukturen übereinstimmt, die den Sprachen zugrunde liegen, auf denen sie trainiert sind. Insbesondere fragen wir (1) ob LLMs bei der Verwendung derselben morphosyntaktischen Prozesse in zwei Sprachen diese mit gemeinsamen internen Schaltkreisen verarbeiten und (2) ob LLMs bei der Verwendung unterschiedlicher morphosyntaktischer Prozesse in zwei Sprachen diese mit unterschiedlichen internen Schaltkreisen verarbeiten. Unter Verwendung von englischen und chinesischen mehrsprachigen und einsprachigen Modellen analysieren wir die internen Schaltkreise, die an zwei Aufgaben beteiligt sind. Wir finden Hinweise darauf, dass Modelle unabhängig von der Sprache, in der sie auftreten, denselben Schaltkreis verwenden, um denselben syntaktischen Prozess zu verarbeiten, und dass dies auch für einsprachige Modelle gilt, die vollständig unabhängig trainiert wurden. Darüber hinaus zeigen wir, dass mehrsprachige Modelle sprachspezifische Komponenten (Aufmerksamkeitsköpfe und Feedforward-Netzwerke) verwenden, wenn sie benötigt werden, um sprachliche Prozesse (z. B. morphologische Markierung) zu verarbeiten, die nur in einigen Sprachen existieren. Zusammen liefern unsere Ergebnisse neue Erkenntnisse darüber, wie LLMs zwischen der Nutzung gemeinsamer Strukturen und der Bewahrung sprachlicher Unterschiede abwägen, wenn sie mit der Modellierung mehrerer Sprachen gleichzeitig beauftragt sind.

English

We employ new tools from mechanistic interpretability in order to ask whether the internal structure of large language models (LLMs) shows correspondence to the linguistic structures which underlie the languages on which they are trained. In particular, we ask (1) when two languages employ the same morphosyntactic processes, do LLMs handle them using shared internal circuitry? and (2) when two languages require different morphosyntactic processes, do LLMs handle them using different internal circuitry? Using English and Chinese multilingual and monolingual models, we analyze the internal circuitry involved in two tasks. We find evidence that models employ the same circuit to handle the same syntactic process independently of the language in which it occurs, and that this is the case even for monolingual models trained completely independently. Moreover, we show that multilingual models employ language-specific components (attention heads and feed-forward networks) when needed to handle linguistic processes (e.g., morphological marking) that only exist in some languages. Together, our results provide new insights into how LLMs trade off between exploiting common structures and preserving linguistic differences when tasked with modeling multiple languages simultaneously.