Taalchirurgie in meertalige grote taalmodellen

Language Surgery in Multilingual Large Language Models

June 14, 2025

Auteurs: Joanito Agili Lopo, Muhammad Ravi Shulthan Habibi, Tack Hwa Wong, Muhammad Ilham Ghozali, Fajri Koto, Genta Indra Winata, Peerat Limkonchotiwat, Alham Fikri Aji, Samuel Cahyawijaya

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben opmerkelijke generalisatiecapaciteiten getoond over taken en talen heen, wat een revolutie teweeg heeft gebracht in natuurlijke taalverwerking. Dit artikel onderzoekt de van nature ontstane representatie-uitlijning in LLMs, met name in de middelste lagen, en de implicaties ervan voor het ontwarren van taal-specifieke en taal-onafhankelijke informatie. We bevestigen empirisch het bestaan van deze uitlijning, analyseren het gedrag ervan in vergelijking met expliciet ontworpen uitlijningsmodellen, en tonen het potentieel aan voor taal-specifieke manipulatie zonder semantische degradatie. Op basis van deze bevindingen stellen we Inference-Time Language Control (ITLC) voor, een nieuwe methode die gebruikmaakt van latente injectie om precieze cross-linguale taalcontrole mogelijk te maken en taalverwarring in LLMs te verminderen. Onze experimenten benadrukken de sterke cross-linguale controlecapaciteiten van ITLC terwijl de semantische integriteit in doeltalen behouden blijft. Bovendien tonen we de effectiviteit ervan aan bij het verminderen van het probleem van cross-linguale taalverwarring, dat zelfs in huidige grootschalige LLMs blijft bestaan en leidt tot inconsistente taalgeneratie. Dit werk bevordert ons begrip van representatie-uitlijning in LLMs en introduceert een praktische oplossing voor het verbeteren van hun cross-linguale prestaties.

English

Large Language Models (LLMs) have demonstrated remarkable generalization capabilities across tasks and languages, revolutionizing natural language processing. This paper investigates the naturally emerging representation alignment in LLMs, particularly in the middle layers, and its implications for disentangling language-specific and language-agnostic information. We empirically confirm the existence of this alignment, analyze its behavior in comparison to explicitly designed alignment models, and demonstrate its potential for language-specific manipulation without semantic degradation. Building on these findings, we propose Inference-Time Language Control (ITLC), a novel method that leverages latent injection to enable precise cross-lingual language control and mitigate language confusion in LLMs. Our experiments highlight ITLC's strong cross-lingual control capabilities while preserving semantic integrity in target languages. Furthermore, we demonstrate its effectiveness in alleviating the cross-lingual language confusion problem, which persists even in current large-scale LLMs, leading to inconsistent language generation. This work advances our understanding of representation alignment in LLMs and introduces a practical solution for enhancing their cross-lingual performance.