多言語大規模言語モデルにおける言語手術

要旨

大規模言語モデル（LLMs）は、タスクや言語を超えた優れた汎化能力を示し、自然言語処理に革命をもたらしている。本論文では、特に中間層において自然に生じる表現アラインメントと、それが言語固有および言語非依存の情報を分離する上で持つ意義について調査する。我々は、このアラインメントの存在を実証的に確認し、明示的に設計されたアラインメントモデルとの比較を通じてその挙動を分析し、意味の劣化を伴わずに言語固有の操作を可能にするその潜在能力を示す。これらの知見に基づき、潜在空間への注入を活用して精密な言語間制御を可能にし、LLMsにおける言語混同を軽減する新たな手法である推論時言語制御（Inference-Time Language Control, ITLC）を提案する。実験結果は、ITLCがターゲット言語における意味的整合性を保ちつつ、強力な言語間制御能力を発揮することを明らかにしている。さらに、現在の大規模LLMsにおいても持続する言語間混同問題を軽減する上での有効性を示し、一貫性のある言語生成を実現する。本研究は、LLMsにおける表現アラインメントの理解を深め、その言語間性能を向上させる実用的な解決策を提供するものである。

English

Large Language Models (LLMs) have demonstrated remarkable generalization capabilities across tasks and languages, revolutionizing natural language processing. This paper investigates the naturally emerging representation alignment in LLMs, particularly in the middle layers, and its implications for disentangling language-specific and language-agnostic information. We empirically confirm the existence of this alignment, analyze its behavior in comparison to explicitly designed alignment models, and demonstrate its potential for language-specific manipulation without semantic degradation. Building on these findings, we propose Inference-Time Language Control (ITLC), a novel method that leverages latent injection to enable precise cross-lingual language control and mitigate language confusion in LLMs. Our experiments highlight ITLC's strong cross-lingual control capabilities while preserving semantic integrity in target languages. Furthermore, we demonstrate its effectiveness in alleviating the cross-lingual language confusion problem, which persists even in current large-scale LLMs, leading to inconsistent language generation. This work advances our understanding of representation alignment in LLMs and introduces a practical solution for enhancing their cross-lingual performance.

多言語大規模言語モデルにおける言語手術

Language Surgery in Multilingual Large Language Models

要旨

Support