Chirurgie linguistique dans les modèles de langage multilingues de grande envergure

Résumé

Les modèles de langage de grande taille (LLMs) ont démontré des capacités de généralisation remarquables à travers les tâches et les langues, révolutionnant ainsi le traitement du langage naturel. Cet article étudie l'alignement des représentations qui émerge naturellement dans les LLMs, en particulier dans les couches intermédiaires, et ses implications pour la séparation des informations spécifiques à une langue et indépendantes de la langue. Nous confirmons empiriquement l'existence de cet alignement, analysons son comportement par rapport aux modèles d'alignement explicitement conçus, et démontrons son potentiel pour la manipulation spécifique à une langue sans dégradation sémantique. Sur la base de ces résultats, nous proposons le Contrôle de Langue au Moment de l'Inférence (Inference-Time Language Control, ITLC), une méthode novatrice qui exploite l'injection latente pour permettre un contrôle linguistique translingual précis et atténuer la confusion linguistique dans les LLMs. Nos expériences mettent en évidence les fortes capacités de contrôle translingual de l'ITLC tout en préservant l'intégrité sémantique dans les langues cibles. De plus, nous démontrons son efficacité pour atténuer le problème de confusion linguistique translinguale, qui persiste même dans les LLMs actuels à grande échelle, entraînant une génération de langage incohérente. Ce travail approfondit notre compréhension de l'alignement des représentations dans les LLMs et propose une solution pratique pour améliorer leurs performances translinguales.

English

Large Language Models (LLMs) have demonstrated remarkable generalization capabilities across tasks and languages, revolutionizing natural language processing. This paper investigates the naturally emerging representation alignment in LLMs, particularly in the middle layers, and its implications for disentangling language-specific and language-agnostic information. We empirically confirm the existence of this alignment, analyze its behavior in comparison to explicitly designed alignment models, and demonstrate its potential for language-specific manipulation without semantic degradation. Building on these findings, we propose Inference-Time Language Control (ITLC), a novel method that leverages latent injection to enable precise cross-lingual language control and mitigate language confusion in LLMs. Our experiments highlight ITLC's strong cross-lingual control capabilities while preserving semantic integrity in target languages. Furthermore, we demonstrate its effectiveness in alleviating the cross-lingual language confusion problem, which persists even in current large-scale LLMs, leading to inconsistent language generation. This work advances our understanding of representation alignment in LLMs and introduces a practical solution for enhancing their cross-lingual performance.

Chirurgie linguistique dans les modèles de langage multilingues de grande envergure

Language Surgery in Multilingual Large Language Models

Résumé

Support