LASA: Sprachagnostische semantische Ausrichtung am semantischen Engpass für die Sicherheit von LLMs
LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety
April 13, 2026
Autoren: Junxiao Yang, Haoran Liu, Jinzhe Tu, Jiale Cheng, Zhexin Zhang, Shiyao Cui, Jiaqi Weng, Jialing Tao, Hui Xue, Hongning Wang, Han Qiu, Minlie Huang
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) zeigen oft eine hohe Sicherheitsleistung in ressourcenstarken Sprachen, weisen jedoch schwerwiegende Sicherheitslücken auf, wenn sie in ressourcenschwachen Sprachen abgefragt werden. Wir führen diese Diskrepanz auf eine Diskrepanz zwischen der sprachagnostischen Fähigkeit zum semantischen Verständnis und der sprachdominierten Sicherheitsausrichtung zurück, die zu ressourcenstarken Sprachen hin verzerrt ist. Konsistent mit dieser Hypothese identifizieren wir empirisch den semantischen Engpass in LLMs – eine Zwischenschicht, in der die Geometrie der Modellrepräsentationen primär durch gemeinsamen semantischen Gehalt und nicht durch Sprachidentität bestimmt wird. Aufbauend auf dieser Beobachtung schlagen wir die Sprachagnostische Semantische Ausrichtung (Language-Agnostic Semantic Alignment, LASA) vor, die die Sicherheitsausrichtung direkt in den semantischen Engpässen verankert. Experimente zeigen, dass LASA die Sicherheit über alle Sprachen hinweg erheblich verbessert: Die durchschnittliche Angriffserfolgsrate (Attack Success Rate, ASR) sinkt von 24,7 % auf 2,8 % bei LLaMA-3.1-8B-Instruct und bleibt bei Qwen2.5- und Qwen3-Instruct-Modellen (7B-32B) bei etwa 3–4 %. Zusammen bieten unsere Analyse und Methode eine perspektive auf der Repräsentationsebene für die Sicherheit von LLMs und legen nahe, dass eine sichere Ausrichtung das Sicherheitsverständnis nicht in Oberflächentext, sondern im sprachagnostischen semantischen Raum des Modells verankern muss.
English
Large language models (LLMs) often demonstrate strong safety performance in high-resource languages, yet exhibit severe vulnerabilities when queried in low-resource languages. We attribute this gap to a mismatch between language-agnostic semantic understanding ability and language-dominant safety alignment biased toward high-resource languages. Consistent with this hypothesis, we empirically identify the semantic bottleneck in LLMs, an intermediate layer in which the geometry of model representations is governed primarily by shared semantic content rather than language identity. Building on this observation, we propose Language-Agnostic Semantic Alignment (LASA), which anchors safety alignment directly in semantic bottlenecks. Experiments show that LASA substantially improves safety across all languages: average attack success rate (ASR) drops from 24.7% to 2.8% on LLaMA-3.1-8B-Instruct and remains around 3-4% across Qwen2.5 and Qwen3 Instruct models (7B-32B). Together, our analysis and method offer a representation-level perspective on LLM safety, suggesting that safety alignment requires anchoring safety understanding not in surface text, but in the model's language-agnostic semantic space.