¿Cómo mejora la alineación las capacidades multilingües de los LLM? Una perspectiva desde las neuronas del lenguaje.

How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective

May 27, 2025

Autores: Shimao Zhang, Zhejian Lai, Xiang Liu, Shuaijie She, Xiao Liu, Yeyun Gong, Shujian Huang, Jiajun Chen

cs.AI

Resumen

La Alineación Multilingüe es un paradigma efectivo y representativo para mejorar las capacidades multilingües de los LLMs (Modelos de Lenguaje de Gran Escala), transfiriendo las capacidades de los idiomas de alto recurso a los de bajo recurso. Mientras tanto, algunas investigaciones sobre neuronas específicas del lenguaje revelan que existen neuronas específicas del lenguaje que se activan selectivamente en los LLMs al procesar diferentes idiomas. Esto proporciona una nueva perspectiva para analizar y comprender los mecanismos de los LLMs de manera más específica en escenarios multilingües. En este trabajo, proponemos un nuevo algoritmo de identificación de neuronas más granular, que detecta neuronas del lenguaje (incluyendo neuronas específicas del lenguaje y neuronas relacionadas con el lenguaje) y neuronas independientes del lenguaje. Además, basándonos en las características distribucionales de los diferentes tipos de neuronas, dividimos el proceso interno de los LLMs para la inferencia multilingüe en cuatro partes: (1) comprensión multilingüe, (2) razonamiento en el espacio semántico compartido, (3) transformación del espacio de salida multilingüe y (4) salida en el espacio de vocabulario. Adicionalmente, analizamos sistemáticamente los modelos antes y después de la alineación, centrándonos en los diferentes tipos de neuronas. También analizamos el fenómeno de la "Alineación Multilingüe Espontánea". En general, nuestro trabajo realiza una investigación exhaustiva basada en diferentes tipos de neuronas, proporcionando resultados empíricos y perspectivas valiosas para comprender mejor la alineación multilingüe y las capacidades multilingües de los LLMs.

English

Multilingual Alignment is an effective and representative paradigm to enhance LLMs' multilingual capabilities, which transfers the capabilities from the high-resource languages to the low-resource languages. Meanwhile, some researches on language-specific neurons reveal that there are language-specific neurons that are selectively activated in LLMs when processing different languages. This provides a new perspective to analyze and understand LLMs' mechanisms more specifically in multilingual scenarios. In this work, we propose a new finer-grained neuron identification algorithm, which detects language neurons~(including language-specific neurons and language-related neurons) and language-agnostic neurons. Furthermore, based on the distributional characteristics of different types of neurons, we divide the LLMs' internal process for multilingual inference into four parts: (1) multilingual understanding, (2) shared semantic space reasoning, (3) multilingual output space transformation, and (4) vocabulary space outputting. Additionally, we systematically analyze the models before and after alignment with a focus on different types of neurons. We also analyze the phenomenon of ''Spontaneous Multilingual Alignment''. Overall, our work conducts a comprehensive investigation based on different types of neurons, providing empirical results and valuable insights for better understanding multilingual alignment and multilingual capabilities of LLMs.