Quand l'évaluation de la sécurité comportementale échoue : une perspective au niveau de la représentation

Résumé

La sécurité des grands modèles de langage (LLM) a souvent été évaluée au niveau comportemental, ce qui ne fournit qu'une preuve limitée de leur robustesse interne, car ces évaluations ciblent les résultats plutôt que la vulnérabilité au niveau des représentations sous intervention. Nous formalisons ce décalage comme le fossé d'audit (audit gap) : la différence entre la sécurité comportementale et la robustesse sous intervention. Pour étudier ce fossé, nous construisons des modèles dissociés qui conservent un comportement externe sûr tout en restant vulnérables dans l'espace latent. Nous introduisons un cadre d'évaluation basé sur les interventions pour tester la robustesse des modèles via des interventions douces (soft interventions) dans les espaces de paramètres et latents, incluant le fine-tuning nuisible et les perturbations latentes par couche. Pour formaliser l'évaluation, nous proposons le score de vulnérabilité latente (Latent Vulnerability Score, LVS) afin de mesurer la facilité avec laquelle un comportement nuisible peut être suscité par des perturbations latentes bornées. En utilisant ce cadre d'évaluation, nous montrons que les métriques de sécurité comportementale sont insuffisantes pour mesurer la robustesse au niveau des représentations à travers plusieurs modèles de pointe alignés de manière sûre et non sûre. Notamment, les modèles dissociés présentent des LVS considérablement élevés malgré un comportement de refus comparable sous intervention nuisible, les représentations intermédiaires étant les plus sensibles aux interventions. Nos résultats suggèrent que l'évaluation de la sécurité comportementale seule fournit une image incomplète de la robustesse des modèles, motivant des audits sensibles aux représentations de la vulnérabilité latente et du comportement observable.

English

Large Language Model (LLM) safety has often been evaluated at the behavior level, which provides limited evidence of internal robustness, as these evaluations target outputs rather than representation-level vulnerability under intervention. We formalize this discrepancy as the audit gap: the difference between behavioral safety and robustness under intervention. To study this gap, we construct dissociated models that preserve safe outward behavior while remaining vulnerable in the latent space. We introduce an intervention-based evaluation framework to test model robustness through soft interventions in parameter and latent spaces, including harmful fine-tuning and layer-wise latent perturbations. To formalize the evaluation, we propose the Latent Vulnerability Score (LVS) to measure how easily harmful behavior can be elicited by bounded latent perturbations. Using this evaluation framework, we show that behavioral safety metrics are insufficient measures of representation-level robustness across multiple safely and unsafely aligned state-of-the-art models. Notably, dissociated models show substantially elevated LVSs despite comparable refusal behavior under harmful intervention, with intermediate representations being the most sensitive to intervention. Our results suggest that behavioral safety evaluation alone provides an incomplete picture of model robustness, motivating representation-aware audits of latent vulnerability and observable behavior.