Können Dialekte wie Sprachen gesteuert werden? Spärliche Neuronen und verteilte Richtungen in arabischen LLMs

Zusammenfassung

Eine zentrale Herausforderung in der arabischen NLP ist die Knappheit dialektaler Daten im Vergleich zu modernem Standardarabisch (MSA), was dazu führt, dass große Sprachmodelle (LLMs) übermäßig MSA produzieren und Schwierigkeiten mit dialektal korrekter Generierung haben. Aus Perspektive der Interpretierbarkeit wirft dies eine grundlegende Frage auf: Wo und wie werden dialektale Merkmale in den Modellinterna kodiert, und können diese Repräsentationen genutzt werden, um die Dialektgenerierung ohne Feinabstimmung zu verbessern? Diese Studie untersucht zwei komplementäre Inferenzzeit-Ansätze, die gleichzeitig als Sonden zur Interpretierbarkeit und als Kontrollmechanismen dienen. Zunächst führen wir eine Analyse auf Neuron-Ebene durch, bei der spärliche Neuronpopulationen identifiziert werden, die dialektspezifische Merkmale kodieren, und zeigen, dass die Verstärkung oder Unterdrückung dieser Neuronen die Modellausgaben in Richtung Zieldialekte lenken kann. Zweitens wenden wir, motiviert durch die Verflechtung dialektaler Merkmale auf Einzelneuron-Ebene, einen Vektorsteuerungsansatz an, der dialektspezifische Aktivierungsrichtungen extrahiert und während der Inferenz einspritzt. Zusammen beleuchten diese Methoden die Geometrie des dialektalen Wissens in arabischen LLMs und bieten ein prinzipienbasiertes, auf Interpretierbarkeit gegründetes Rahmenwerk zur Dialektsteuerung, ohne dass eine dialektspezifische Feinabstimmung erforderlich ist.

English

A key challenge in Arabic NLP is the scarcity of dialectal data relative to Modern Standard Arabic (MSA), causing LLMs to overproduce MSA and struggle with dialectally accurate generation. From an interpretability perspective, this raises a fundamental question: where and how are dialectal features encoded within model internals, and can these representations be leveraged to improve dialect generation without fine-tuning? This study investigates two complementary inference-time approaches that serve simultaneously as interpretability probes and control mechanisms. First, we conduct a neuron-level analysis, identifying sparse neuron populations that encode dialect-specific features and showing that amplifying or suppressing these neurons can steer model outputs toward target dialects. Second, motivated by the entanglement of dialectal features at the single-neuron level, we apply a vector-steering approach that extracts dialect-specific activation directions and injects them during inference. Together, these methods illuminate the geometry of dialectal knowledge in Arabic LLMs and offer a principled, interpretability-grounded framework for dialect control without requiring dialect-specific fine-tuning.