Wenn die Verhaltenssicherheitsbewertung scheitert: Eine Perspektive auf Repräsentationsebene

Zusammenfassung

Die Sicherheit großer Sprachmodelle (Large Language Models, LLMs) wurde häufig auf der Verhaltensebene bewertet, was nur begrenzte Hinweise auf die interne Robustheit liefert, da diese Bewertungen auf Ausgaben abzielen und nicht auf Verwundbarkeiten auf der Repräsentationsebene unter Eingriffen. Wir formalisieren diese Diskrepanz als die Prüfungslücke (Audit Gap): die Differenz zwischen Verhaltenssicherheit und Robustheit unter Eingriffen. Um diese Lücke zu untersuchen, konstruieren wir dissoziierte Modelle, die äußerlich sicheres Verhalten bewahren, während sie im latenten Raum verwundbar bleiben. Wir führen ein interventionsbasiertes Bewertungsrahmenwerk ein, um die Robustheit von Modellen durch weiche Eingriffe in Parameter- und latente Räume zu testen, einschließlich schädlichem Feintuning und schichtweisen latenten Störungen. Zur Formalisierung der Bewertung schlagen wir den Latent Vulnerability Score (LVS) vor, der misst, wie leicht schädliches Verhalten durch begrenzte latente Störungen hervorgerufen werden kann. Anhand dieses Bewertungsrahmenwerks zeigen wir, dass Metriken der Verhaltenssicherheit unzureichende Maße für die Robustheit auf Repräsentationsebene über mehrere sicher und unsicher ausgerichtete hochmoderne Modelle hinweg sind. Insbesondere weisen dissoziierte Modelle trotz vergleichbarem Ablehnungsverhalten unter schädlichen Eingriffen deutlich erhöhte LVS-Werte auf, wobei intermediäre Repräsentationen am empfindlichsten auf Eingriffe reagieren. Unsere Ergebnisse deuten darauf hin, dass die alleinige Bewertung der Verhaltenssicherheit ein unvollständiges Bild der Modellrobustheit liefert, was repräsentationsbewusste Prüfungen der latenten Vulnerabilität und des beobachtbaren Verhaltens motiviert.

English

Large Language Model (LLM) safety has often been evaluated at the behavior level, which provides limited evidence of internal robustness, as these evaluations target outputs rather than representation-level vulnerability under intervention. We formalize this discrepancy as the audit gap: the difference between behavioral safety and robustness under intervention. To study this gap, we construct dissociated models that preserve safe outward behavior while remaining vulnerable in the latent space. We introduce an intervention-based evaluation framework to test model robustness through soft interventions in parameter and latent spaces, including harmful fine-tuning and layer-wise latent perturbations. To formalize the evaluation, we propose the Latent Vulnerability Score (LVS) to measure how easily harmful behavior can be elicited by bounded latent perturbations. Using this evaluation framework, we show that behavioral safety metrics are insufficient measures of representation-level robustness across multiple safely and unsafely aligned state-of-the-art models. Notably, dissociated models show substantially elevated LVSs despite comparable refusal behavior under harmful intervention, with intermediate representations being the most sensitive to intervention. Our results suggest that behavioral safety evaluation alone provides an incomplete picture of model robustness, motivating representation-aware audits of latent vulnerability and observable behavior.