方言は言語のように制御できるのか？アラビア語LLMにおけるスパースなニューロンと分散方向

要旨

アラビア語自然言語処理（NLP）における重要な課題は、現代標準アラビア語（MSA）に比べて方言データが不足していることであり、そのため大規模言語モデル（LLM）はMSAを過剰に生成し、方言的に正確な生成に苦戦する。解釈可能性の観点から、これは根本的な疑問を提起する：モデル内部において方言的特徴はどこでどのように符号化されているのか、そしてこれらの表現を微調整なしで方言生成を改善するために活用できるのか？本研究では、解釈可能性のプローブと制御メカニズムとして同時に機能する、二つの相補的な推論時アプローチを調査する。第一に、ニューロンレベルの分析を行い、方言固有の特徴を符号化する疎なニューロン集団を特定し、これらのニューロンを増幅または抑制することでモデルの出力を目標方言に向けて誘導できることを示す。第二に、単一ニューロンレベルでの方言的特徴の絡み合いに動機づけられ、方言固有の活性化方向を抽出し推論中に注入するベクトル誘導アプローチを適用する。これらの手法は総合的に、アラビア語LLMにおける方言知識の幾何学的構造を明らかにし、方言固有の微調整を必要としない、原理的で解釈可能性に基づいた方言制御の枠組みを提供する。

English

A key challenge in Arabic NLP is the scarcity of dialectal data relative to Modern Standard Arabic (MSA), causing LLMs to overproduce MSA and struggle with dialectally accurate generation. From an interpretability perspective, this raises a fundamental question: where and how are dialectal features encoded within model internals, and can these representations be leveraged to improve dialect generation without fine-tuning? This study investigates two complementary inference-time approaches that serve simultaneously as interpretability probes and control mechanisms. First, we conduct a neuron-level analysis, identifying sparse neuron populations that encode dialect-specific features and showing that amplifying or suppressing these neurons can steer model outputs toward target dialects. Second, motivated by the entanglement of dialectal features at the single-neuron level, we apply a vector-steering approach that extracts dialect-specific activation directions and injects them during inference. Together, these methods illuminate the geometry of dialectal knowledge in Arabic LLMs and offer a principled, interpretability-grounded framework for dialect control without requiring dialect-specific fine-tuning.