Wanneer Gedragsveiligheidsevaluatie Mislukt: Een Perspectief op Representatieniveau

Samenvatting

De veiligheid van grote taalmodellen (Large Language Models, LLM's) wordt vaak geëvalueerd op gedragsniveau, wat beperkt bewijs levert van interne robuustheid, aangezien deze evaluaties gericht zijn op outputs in plaats van op kwetsbaarheid op representatieniveau onder interventie. We formaliseren deze discrepantie als de auditkloof: het verschil tussen gedragsveiligheid en robuustheid onder interventie. Om deze kloof te bestuderen, construeren we gedissocieerde modellen die veilig uiterlijk gedrag behouden terwijl ze kwetsbaar blijven in de latente ruimte. We introduceren een op interventies gebaseerd evaluatiekader om modelrobuustheid te testen via zachte interventies in parameter- en latente ruimtes, waaronder schadelijke fine-tuning en laagsgewijze latente perturbaties. Om de evaluatie te formaliseren, stellen we de Latente Kwetsbaarheidsscore (LVS) voor om te meten hoe gemakkelijk schadelijk gedrag kan worden opgeroepen door begrensde latente perturbaties. Met behulp van dit evaluatiekader tonen we aan dat gedragsveiligheidsmetrieken onvoldoende maten zijn voor robuustheid op representatieniveau bij meerdere veilig en onveilig afgestemde state-of-the-art modellen. Opvallend is dat gedissocieerde modellen aanzienlijk verhoogde LVS'en vertonen ondanks vergelijkbaar weigeringsgedrag onder schadelijke interventie, waarbij tussenliggende representaties het meest gevoelig zijn voor interventie. Onze resultaten suggereren dat evaluatie van gedragsveiligheid alleen een onvolledig beeld geeft van modelrobuustheid, wat pleit voor representatiebewuste audits van latente kwetsbaarheid en waarneembaar gedrag.

English

Large Language Model (LLM) safety has often been evaluated at the behavior level, which provides limited evidence of internal robustness, as these evaluations target outputs rather than representation-level vulnerability under intervention. We formalize this discrepancy as the audit gap: the difference between behavioral safety and robustness under intervention. To study this gap, we construct dissociated models that preserve safe outward behavior while remaining vulnerable in the latent space. We introduce an intervention-based evaluation framework to test model robustness through soft interventions in parameter and latent spaces, including harmful fine-tuning and layer-wise latent perturbations. To formalize the evaluation, we propose the Latent Vulnerability Score (LVS) to measure how easily harmful behavior can be elicited by bounded latent perturbations. Using this evaluation framework, we show that behavioral safety metrics are insufficient measures of representation-level robustness across multiple safely and unsafely aligned state-of-the-art models. Notably, dissociated models show substantially elevated LVSs despite comparable refusal behavior under harmful intervention, with intermediate representations being the most sensitive to intervention. Our results suggest that behavioral safety evaluation alone provides an incomplete picture of model robustness, motivating representation-aware audits of latent vulnerability and observable behavior.