Cirurgia de Linguagem em Modelos de Linguagem Multilíngues de Grande Escala

Language Surgery in Multilingual Large Language Models

June 14, 2025

Autores: Joanito Agili Lopo, Muhammad Ravi Shulthan Habibi, Tack Hwa Wong, Muhammad Ilham Ghozali, Fajri Koto, Genta Indra Winata, Peerat Limkonchotiwat, Alham Fikri Aji, Samuel Cahyawijaya

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades notáveis de generalização entre tarefas e idiomas, revolucionando o processamento de linguagem natural. Este artigo investiga o alinhamento de representações que emerge naturalmente nos LLMs, particularmente nas camadas intermediárias, e suas implicações para a separação de informações específicas de idioma e agnósticas ao idioma. Confirmamos empiricamente a existência desse alinhamento, analisamos seu comportamento em comparação com modelos de alinhamento explicitamente projetados e demonstramos seu potencial para manipulação específica de idioma sem degradação semântica. Com base nessas descobertas, propomos o Controle de Idioma no Tempo de Inferência (ITLC), um método novo que aproveita a injeção latente para permitir um controle preciso de idioma entre línguas e mitigar a confusão de idioma nos LLMs. Nossos experimentos destacam as fortes capacidades de controle entre línguas do ITLC, preservando a integridade semântica nos idiomas-alvo. Além disso, demonstramos sua eficácia em aliviar o problema de confusão de idioma entre línguas, que persiste mesmo nos LLMs de grande escala atuais, levando à geração inconsistente de linguagem. Este trabalho avança nossa compreensão do alinhamento de representações nos LLMs e introduz uma solução prática para aprimorar seu desempenho entre línguas.

English

Large Language Models (LLMs) have demonstrated remarkable generalization capabilities across tasks and languages, revolutionizing natural language processing. This paper investigates the naturally emerging representation alignment in LLMs, particularly in the middle layers, and its implications for disentangling language-specific and language-agnostic information. We empirically confirm the existence of this alignment, analyze its behavior in comparison to explicitly designed alignment models, and demonstrate its potential for language-specific manipulation without semantic degradation. Building on these findings, we propose Inference-Time Language Control (ITLC), a novel method that leverages latent injection to enable precise cross-lingual language control and mitigate language confusion in LLMs. Our experiments highlight ITLC's strong cross-lingual control capabilities while preserving semantic integrity in target languages. Furthermore, we demonstrate its effectiveness in alleviating the cross-lingual language confusion problem, which persists even in current large-scale LLMs, leading to inconsistent language generation. This work advances our understanding of representation alignment in LLMs and introduces a practical solution for enhancing their cross-lingual performance.