LASA : Alignement sémantique agnostique au langage au niveau du goulot d'étranglement sémantique pour la sécurité des LLM
LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety
April 13, 2026
Auteurs: Junxiao Yang, Haoran Liu, Jinzhe Tu, Jiale Cheng, Zhexin Zhang, Shiyao Cui, Jiaqi Weng, Jialing Tao, Hui Xue, Hongning Wang, Han Qiu, Minlie Huang
cs.AI
Résumé
Les grands modèles de langage (LLM) démontrent souvent de solides performances en matière de sécurité dans les langues riches en ressources, mais présentent des vulnérabilités sévères lorsqu'ils sont interrogés dans des langues peu dotées. Nous attribuons cet écart à un décalage entre la capacité de compréhension sémantique agnostique au langage et l'alignement de sécurité dominant axé sur les langues, biaisé en faveur des langues riches en ressources. Conformément à cette hypothèse, nous identifions empiriquement le goulot d'étranglement sémantique dans les LLM, une couche intermédiaire dans laquelle la géométrie des représentations du modèle est gouvernée principalement par le contenu sémantique partagé plutôt que par l'identité linguistique. En nous appuyant sur cette observation, nous proposons l'Alignement Sémantique Agnostique au Langage (LASA), qui ancre l'alignement de sécurité directement dans les goulots d'étranglement sémantiques. Les expériences montrent que LASA améliore considérablement la sécurité dans toutes les langues : le taux de réussite moyen des attaques (ASR) chute de 24,7 % à 2,8 % sur LLaMA-3.1-8B-Instruct et reste autour de 3-4 % pour les modèles Qwen2.5 et Qwen3 Instruct (7B-32B). Ensemble, notre analyse et notre méthode offrent une perspective au niveau des représentations sur la sécurité des LLM, suggérant que l'alignement de sécurité nécessite d'ancrer la compréhension de la sécurité non pas dans le texte de surface, mais dans l'espace sémantique agnostique au langage du modèle.
English
Large language models (LLMs) often demonstrate strong safety performance in high-resource languages, yet exhibit severe vulnerabilities when queried in low-resource languages. We attribute this gap to a mismatch between language-agnostic semantic understanding ability and language-dominant safety alignment biased toward high-resource languages. Consistent with this hypothesis, we empirically identify the semantic bottleneck in LLMs, an intermediate layer in which the geometry of model representations is governed primarily by shared semantic content rather than language identity. Building on this observation, we propose Language-Agnostic Semantic Alignment (LASA), which anchors safety alignment directly in semantic bottlenecks. Experiments show that LASA substantially improves safety across all languages: average attack success rate (ASR) drops from 24.7% to 2.8% on LLaMA-3.1-8B-Instruct and remains around 3-4% across Qwen2.5 and Qwen3 Instruct models (7B-32B). Together, our analysis and method offer a representation-level perspective on LLM safety, suggesting that safety alignment requires anchoring safety understanding not in surface text, but in the model's language-agnostic semantic space.