Como o Alinhamento Melhora as Capacidades Multilíngues dos LLMs? Uma Perspectiva dos Neurônios de Linguagem

How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective

May 27, 2025

Autores: Shimao Zhang, Zhejian Lai, Xiang Liu, Shuaijie She, Xiao Liu, Yeyun Gong, Shujian Huang, Jiajun Chen

cs.AI

Resumo

O Alinhamento Multilíngue é um paradigma eficaz e representativo para aprimorar as capacidades multilíngues de LLMs (Modelos de Linguagem de Grande Escala), transferindo as capacidades de idiomas de alta disponibilidade de recursos para idiomas de baixa disponibilidade. Paralelamente, algumas pesquisas sobre neurônios específicos de idiomas revelam que existem neurônios específicos que são seletivamente ativados em LLMs ao processar diferentes idiomas. Isso fornece uma nova perspectiva para analisar e entender os mecanismos dos LLMs de forma mais específica em cenários multilíngues. Neste trabalho, propomos um novo algoritmo de identificação de neurônios mais refinado, que detecta neurônios de idioma (incluindo neurônios específicos de idioma e neurônios relacionados a idiomas) e neurônios independentes de idioma. Além disso, com base nas características distributivas de diferentes tipos de neurônios, dividimos o processo interno dos LLMs para inferência multilíngue em quatro partes: (1) compreensão multilíngue, (2) raciocínio em espaço semântico compartilhado, (3) transformação do espaço de saída multilíngue e (4) saída no espaço de vocabulário. Adicionalmente, analisamos sistematicamente os modelos antes e depois do alinhamento, com foco em diferentes tipos de neurônios. Também analisamos o fenômeno do "Alinhamento Multilíngue Espontâneo". No geral, nosso trabalho realiza uma investigação abrangente com base em diferentes tipos de neurônios, fornecendo resultados empíricos e insights valiosos para uma melhor compreensão do alinhamento multilíngue e das capacidades multilíngues dos LLMs.

English

Multilingual Alignment is an effective and representative paradigm to enhance LLMs' multilingual capabilities, which transfers the capabilities from the high-resource languages to the low-resource languages. Meanwhile, some researches on language-specific neurons reveal that there are language-specific neurons that are selectively activated in LLMs when processing different languages. This provides a new perspective to analyze and understand LLMs' mechanisms more specifically in multilingual scenarios. In this work, we propose a new finer-grained neuron identification algorithm, which detects language neurons~(including language-specific neurons and language-related neurons) and language-agnostic neurons. Furthermore, based on the distributional characteristics of different types of neurons, we divide the LLMs' internal process for multilingual inference into four parts: (1) multilingual understanding, (2) shared semantic space reasoning, (3) multilingual output space transformation, and (4) vocabulary space outputting. Additionally, we systematically analyze the models before and after alignment with a focus on different types of neurons. We also analyze the phenomenon of ''Spontaneous Multilingual Alignment''. Overall, our work conducts a comprehensive investigation based on different types of neurons, providing empirical results and valuable insights for better understanding multilingual alignment and multilingual capabilities of LLMs.