Comment l'alignement améliore-t-il les capacités multilingues des LLM ? Une perspective des neurones linguistiques

How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective

May 27, 2025

Auteurs: Shimao Zhang, Zhejian Lai, Xiang Liu, Shuaijie She, Xiao Liu, Yeyun Gong, Shujian Huang, Jiajun Chen

cs.AI

Résumé

L'alignement multilingue est un paradigme efficace et représentatif pour améliorer les capacités multilingues des LLMs (modèles de langage de grande envergure), en transférant les compétences des langues riches en ressources vers les langues pauvres en ressources. Parallèlement, certaines recherches sur les neurones spécifiques à une langue révèlent qu'il existe des neurones spécifiques à une langue qui sont sélectivement activés dans les LLMs lors du traitement de différentes langues. Cela offre une nouvelle perspective pour analyser et comprendre plus spécifiquement les mécanismes des LLMs dans des scénarios multilingues. Dans ce travail, nous proposons un nouvel algorithme d'identification de neurones plus fin, qui détecte les neurones liés à la langue (y compris les neurones spécifiques à une langue et les neurones associés à la langue) et les neurones indépendants de la langue. De plus, en nous basant sur les caractéristiques distributionnelles des différents types de neurones, nous divisons le processus interne des LLMs pour l'inférence multilingue en quatre parties : (1) compréhension multilingue, (2) raisonnement dans un espace sémantique partagé, (3) transformation de l'espace de sortie multilingue, et (4) sortie dans l'espace du vocabulaire. En outre, nous analysons systématiquement les modèles avant et après alignement en nous concentrant sur les différents types de neurones. Nous analysons également le phénomène d'''Alignement Multilingue Spontané''. Globalement, notre travail mène une investigation approfondie basée sur les différents types de neurones, fournissant des résultats empiriques et des insights précieux pour une meilleure compréhension de l'alignement multilingue et des capacités multilingues des LLMs.

English

Multilingual Alignment is an effective and representative paradigm to enhance LLMs' multilingual capabilities, which transfers the capabilities from the high-resource languages to the low-resource languages. Meanwhile, some researches on language-specific neurons reveal that there are language-specific neurons that are selectively activated in LLMs when processing different languages. This provides a new perspective to analyze and understand LLMs' mechanisms more specifically in multilingual scenarios. In this work, we propose a new finer-grained neuron identification algorithm, which detects language neurons~(including language-specific neurons and language-related neurons) and language-agnostic neurons. Furthermore, based on the distributional characteristics of different types of neurons, we divide the LLMs' internal process for multilingual inference into four parts: (1) multilingual understanding, (2) shared semantic space reasoning, (3) multilingual output space transformation, and (4) vocabulary space outputting. Additionally, we systematically analyze the models before and after alignment with a focus on different types of neurons. We also analyze the phenomenon of ''Spontaneous Multilingual Alignment''. Overall, our work conducts a comprehensive investigation based on different types of neurons, providing empirical results and valuable insights for better understanding multilingual alignment and multilingual capabilities of LLMs.