Chirurgia Linguistica nei Modelli Linguistici Multilingue di Grande Dimensione

Language Surgery in Multilingual Large Language Models

June 14, 2025

Autori: Joanito Agili Lopo, Muhammad Ravi Shulthan Habibi, Tack Hwa Wong, Muhammad Ilham Ghozali, Fajri Koto, Genta Indra Winata, Peerat Limkonchotiwat, Alham Fikri Aji, Samuel Cahyawijaya

cs.AI

Abstract

I Large Language Model (LLM) hanno dimostrato notevoli capacità di generalizzazione attraverso compiti e lingue, rivoluzionando l'elaborazione del linguaggio naturale. Questo articolo indaga l'allineamento delle rappresentazioni che emerge naturalmente nei LLM, in particolare negli strati intermedi, e le sue implicazioni per la separazione delle informazioni specifiche della lingua e indipendenti dalla lingua. Confermiamo empiricamente l'esistenza di questo allineamento, analizziamo il suo comportamento rispetto a modelli di allineamento progettati esplicitamente e dimostriamo il suo potenziale per la manipolazione specifica della lingua senza degradazione semantica. Basandoci su questi risultati, proponiamo Inference-Time Language Control (ITLC), un metodo innovativo che sfrutta l'iniezione latente per abilitare un controllo linguistico cross-linguale preciso e mitigare la confusione linguistica nei LLM. I nostri esperimenti evidenziano le forti capacità di controllo cross-linguale di ITLC preservando l'integrità semantica nelle lingue target. Inoltre, dimostriamo la sua efficacia nell'alleviare il problema della confusione linguistica cross-linguale, che persiste anche negli attuali LLM su larga scala, portando a una generazione linguistica incoerente. Questo lavoro avanza la nostra comprensione dell'allineamento delle rappresentazioni nei LLM e introduce una soluzione pratica per migliorare le loro prestazioni cross-linguali.

English

Large Language Models (LLMs) have demonstrated remarkable generalization capabilities across tasks and languages, revolutionizing natural language processing. This paper investigates the naturally emerging representation alignment in LLMs, particularly in the middle layers, and its implications for disentangling language-specific and language-agnostic information. We empirically confirm the existence of this alignment, analyze its behavior in comparison to explicitly designed alignment models, and demonstrate its potential for language-specific manipulation without semantic degradation. Building on these findings, we propose Inference-Time Language Control (ITLC), a novel method that leverages latent injection to enable precise cross-lingual language control and mitigate language confusion in LLMs. Our experiments highlight ITLC's strong cross-lingual control capabilities while preserving semantic integrity in target languages. Furthermore, we demonstrate its effectiveness in alleviating the cross-lingual language confusion problem, which persists even in current large-scale LLMs, leading to inconsistent language generation. This work advances our understanding of representation alignment in LLMs and introduces a practical solution for enhancing their cross-lingual performance.