LASA: Языково-агностичное семантическое выравнивание на уровне семантического узкого места для обеспечения безопасности больших языковых моделей

LASA: Language-Agnostic Semantic Alignment at the Semantic Bottleneck for LLM Safety

April 13, 2026

Авторы: Junxiao Yang, Haoran Liu, Jinzhe Tu, Jiale Cheng, Zhexin Zhang, Shiyao Cui, Jiaqi Weng, Jialing Tao, Hui Xue, Hongning Wang, Han Qiu, Minlie Huang

cs.AI

Аннотация

Крупные языковые модели (LLM) часто демонстрируют высокую устойчивость к вредоносным запросам на языках с большими ресурсами, но проявляют серьезные уязвимости при обработке запросов на малоресурсных языках. Мы объясняем этот разрыв несоответствием между языково-агностической способностью к семантическому пониманию и языково-ориентированной настройкой безопасности, смещенной в сторону высокоресурсных языков. В соответствии с этой гипотезой мы эмпирически идентифицируем семантическое узкое место в LLM — промежуточный слой, в котором геометрия репрезентаций модели определяется в первую очередь общим семантическим содержанием, а не языковой принадлежностью. Опираясь на это наблюдение, мы предлагаем метод языково-агностической семантической настройки (Language-Agnostic Semantic Alignment, LASA), который закрепляет настройку безопасности непосредственно в семантических узких местах. Эксперименты показывают, что LASA существенно повышает безопасность для всех языков: средний показатель успешности атак (ASR) снижается с 24,7% до 2,8% для модели LLaMA-3.1-8B-Instruct и остается на уровне около 3–4% для инструктивных моделей Qwen2.5 и Qwen3 (7B-32B). В совокупности наш анализ и метод предлагают взгляд на безопасность LLM на уровне репрезентаций, предполагая, что настройка безопасности требует закрепления понимания безопасности не на уровне поверхностного текста, а в языково-агностическом семантическом пространстве модели.

English

Large language models (LLMs) often demonstrate strong safety performance in high-resource languages, yet exhibit severe vulnerabilities when queried in low-resource languages. We attribute this gap to a mismatch between language-agnostic semantic understanding ability and language-dominant safety alignment biased toward high-resource languages. Consistent with this hypothesis, we empirically identify the semantic bottleneck in LLMs, an intermediate layer in which the geometry of model representations is governed primarily by shared semantic content rather than language identity. Building on this observation, we propose Language-Agnostic Semantic Alignment (LASA), which anchors safety alignment directly in semantic bottlenecks. Experiments show that LASA substantially improves safety across all languages: average attack success rate (ASR) drops from 24.7% to 2.8% on LLaMA-3.1-8B-Instruct and remains around 3-4% across Qwen2.5 and Qwen3 Instruct models (7B-32B). Together, our analysis and method offer a representation-level perspective on LLM safety, suggesting that safety alignment requires anchoring safety understanding not in surface text, but in the model's language-agnostic semantic space.