Когда оценка поведенческой безопасности терпит неудачу: перспектива на уровне представлений

Аннотация

Безопасность больших языковых моделей (БЯМ) часто оценивается на уровне поведения, что даёт ограниченные свидетельства внутренней робастности, поскольку такие оценки нацелены на выходные данные, а не на уязвимость на уровне представлений при вмешательстве. Мы формализуем это несоответствие как **оценочный разрыв**: разницу между безопасностью поведения и робастностью при вмешательстве. Для изучения этого разрыва мы конструируем диссоциированные модели, которые сохраняют безопасное внешнее поведение, оставаясь уязвимыми в латентном пространстве. Мы вводим оценочную структуру на основе вмешательств для проверки робастности моделей с помощью мягких вмешательств в пространстве параметров и латентном пространстве, включая вредоносную тонкую настройку и послойные латентные возмущения. Для формализации оценки мы предлагаем **Показатель латентной уязвимости** (Latent Vulnerability Score, LVS), измеряющий, насколько легко можно вызвать вредоносное поведение с помощью ограниченных латентных возмущений. Используя эту оценочную структуру, мы показываем, что метрики поведенческой безопасности недостаточны для измерения робастности на уровне представлений для нескольких современных моделей с безопасной и небезопасной выравниванием. Примечательно, что диссоциированные модели демонстрируют существенно повышенные значения LVS, несмотря на сопоставимое поведение отказа при вредоносном вмешательстве, причём промежуточные представления оказываются наиболее чувствительными к вмешательству. Наши результаты свидетельствуют о том, что оценка только поведенческой безопасности даёт неполную картину робастности модели, что мотивирует к проведению аудитов с учётом латентной уязвимости и наблюдаемого поведения.

English

Large Language Model (LLM) safety has often been evaluated at the behavior level, which provides limited evidence of internal robustness, as these evaluations target outputs rather than representation-level vulnerability under intervention. We formalize this discrepancy as the audit gap: the difference between behavioral safety and robustness under intervention. To study this gap, we construct dissociated models that preserve safe outward behavior while remaining vulnerable in the latent space. We introduce an intervention-based evaluation framework to test model robustness through soft interventions in parameter and latent spaces, including harmful fine-tuning and layer-wise latent perturbations. To formalize the evaluation, we propose the Latent Vulnerability Score (LVS) to measure how easily harmful behavior can be elicited by bounded latent perturbations. Using this evaluation framework, we show that behavioral safety metrics are insufficient measures of representation-level robustness across multiple safely and unsafely aligned state-of-the-art models. Notably, dissociated models show substantially elevated LVSs despite comparable refusal behavior under harmful intervention, with intermediate representations being the most sensitive to intervention. Our results suggest that behavioral safety evaluation alone provides an incomplete picture of model robustness, motivating representation-aware audits of latent vulnerability and observable behavior.