Как выравнивание улучшает многоязычные способности больших языковых моделей? Взгляд через призму языковых нейронов

How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective

May 27, 2025

Авторы: Shimao Zhang, Zhejian Lai, Xiang Liu, Shuaijie She, Xiao Liu, Yeyun Gong, Shujian Huang, Jiajun Chen

cs.AI

Аннотация

Многоязычное выравнивание представляет собой эффективную и репрезентативную парадигму для улучшения многоязычных возможностей крупных языковых моделей (LLM), которая переносит возможности с языков с большими ресурсами на языки с ограниченными ресурсами. В то же время исследования, посвященные языково-специфичным нейронам, показывают, что в LLM существуют нейроны, которые избирательно активируются при обработке различных языков. Это открывает новую перспективу для более детального анализа и понимания механизмов LLM в многоязычных сценариях. В данной работе мы предлагаем новый, более детализированный алгоритм идентификации нейронов, который обнаруживает языковые нейроны (включая языково-специфичные и языково-связанные нейроны) и языково-независимые нейроны. Кроме того, основываясь на распределительных характеристиках различных типов нейронов, мы разделяем внутренний процесс LLM для многоязычного вывода на четыре части: (1) многоязычное понимание, (2) рассуждение в общем семантическом пространстве, (3) преобразование многоязычного выходного пространства и (4) вывод в словарное пространство. Дополнительно мы систематически анализируем модели до и после выравнивания, уделяя особое внимание различным типам нейронов. Мы также исследуем феномен «Спонтанного многоязычного выравнивания». В целом, наша работа проводит всестороннее исследование, основанное на различных типах нейронов, предоставляя эмпирические результаты и ценные инсайты для лучшего понимания многоязычного выравнивания и многоязычных возможностей LLM.

English

Multilingual Alignment is an effective and representative paradigm to enhance LLMs' multilingual capabilities, which transfers the capabilities from the high-resource languages to the low-resource languages. Meanwhile, some researches on language-specific neurons reveal that there are language-specific neurons that are selectively activated in LLMs when processing different languages. This provides a new perspective to analyze and understand LLMs' mechanisms more specifically in multilingual scenarios. In this work, we propose a new finer-grained neuron identification algorithm, which detects language neurons~(including language-specific neurons and language-related neurons) and language-agnostic neurons. Furthermore, based on the distributional characteristics of different types of neurons, we divide the LLMs' internal process for multilingual inference into four parts: (1) multilingual understanding, (2) shared semantic space reasoning, (3) multilingual output space transformation, and (4) vocabulary space outputting. Additionally, we systematically analyze the models before and after alignment with a focus on different types of neurons. We also analyze the phenomenon of ''Spontaneous Multilingual Alignment''. Overall, our work conducts a comprehensive investigation based on different types of neurons, providing empirical results and valuable insights for better understanding multilingual alignment and multilingual capabilities of LLMs.