Wie verbessert Alignment die multilingualen Fähigkeiten von LLMs? Eine Perspektive auf Sprachneuronen

How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective

May 27, 2025

Autoren: Shimao Zhang, Zhejian Lai, Xiang Liu, Shuaijie She, Xiao Liu, Yeyun Gong, Shujian Huang, Jiajun Chen

cs.AI

Zusammenfassung

Multilinguale Ausrichtung ist ein effektives und repräsentatives Paradigma, um die mehrsprachigen Fähigkeiten von LLMs (Large Language Models) zu verbessern, indem Fähigkeiten von hochressourcenreichen Sprachen auf ressourcenarme Sprachen übertragen werden. Gleichzeitig zeigen einige Forschungen zu sprachspezifischen Neuronen, dass es in LLMs sprachspezifische Neuronen gibt, die selektiv aktiviert werden, wenn verschiedene Sprachen verarbeitet werden. Dies bietet eine neue Perspektive, um die Mechanismen von LLMs in mehrsprachigen Szenarien genauer zu analysieren und zu verstehen. In dieser Arbeit schlagen wir einen neuen, feiner abgestimmten Algorithmus zur Identifikation von Neuronen vor, der Sprachneuronen (einschließlich sprachspezifischer und sprachbezogener Neuronen) sowie sprachunabhängige Neuronen erkennt. Darüber hinaus unterteilen wir basierend auf den Verteilungseigenschaften verschiedener Neuronentypen den internen Prozess von LLMs für mehrsprachige Inferenz in vier Teile: (1) mehrsprachiges Verständnis, (2) gemeinsames semantisches Raumdenken, (3) mehrsprachige Ausgaberaumtransformation und (4) Vokabelraumausgabe. Zusätzlich analysieren wir systematisch die Modelle vor und nach der Ausrichtung mit einem Fokus auf verschiedene Neuronentypen. Wir untersuchen auch das Phänomen der „spontanen mehrsprachigen Ausrichtung“. Insgesamt führt unsere Arbeit eine umfassende Untersuchung basierend auf verschiedenen Neuronentypen durch und liefert empirische Ergebnisse und wertvolle Einblicke für ein besseres Verständnis der mehrsprachigen Ausrichtung und der mehrsprachigen Fähigkeiten von LLMs.

English

Multilingual Alignment is an effective and representative paradigm to enhance LLMs' multilingual capabilities, which transfers the capabilities from the high-resource languages to the low-resource languages. Meanwhile, some researches on language-specific neurons reveal that there are language-specific neurons that are selectively activated in LLMs when processing different languages. This provides a new perspective to analyze and understand LLMs' mechanisms more specifically in multilingual scenarios. In this work, we propose a new finer-grained neuron identification algorithm, which detects language neurons~(including language-specific neurons and language-related neurons) and language-agnostic neurons. Furthermore, based on the distributional characteristics of different types of neurons, we divide the LLMs' internal process for multilingual inference into four parts: (1) multilingual understanding, (2) shared semantic space reasoning, (3) multilingual output space transformation, and (4) vocabulary space outputting. Additionally, we systematically analyze the models before and after alignment with a focus on different types of neurons. We also analyze the phenomenon of ''Spontaneous Multilingual Alignment''. Overall, our work conducts a comprehensive investigation based on different types of neurons, providing empirical results and valuable insights for better understanding multilingual alignment and multilingual capabilities of LLMs.