NESSiE: Il Benchmark di Sicurezza Necessario -- Identificare gli Errori che Non Dovrebbero Esistere
NESSiE: The Necessary Safety Benchmark -- Identifying Errors that should not Exist
February 18, 2026
Autori: Johannes Bertram, Jonas Geiping
cs.AI
Abstract
Introduciamo NESSiE, il benchmark NEceSsary SafEty per i grandi modelli linguistici (LLM). Con casi di test minimi di sicurezza delle informazioni e di accesso, NESSiE rivela fallimenti rilevanti per la sicurezza che non dovrebbero esistere, data la bassa complessità dei compiti. NESSiE è concepito come un controllo di integrità leggero e facile da usare per la sicurezza dei modelli linguistici e, come tale, non è sufficiente per garantire la sicurezza in generale – ma sosteniamo che superare questo test sia necessario per qualsiasi implementazione. Tuttavia, anche gli LLM più all'avanguardia non raggiungono il 100% su NESSiE e quindi falliscono la nostra condizione necessaria per la sicurezza del modello linguistico, anche in assenza di attacchi avversari. La nostra metrica Safe & Helpful (SH) consente un confronto diretto dei due requisiti, mostrando che i modelli sono orientati a essere utili piuttosto che sicuri. Inoltre, scopriamo che il ragionamento disabilitato per alcuni modelli, ma soprattutto un contesto di distrazione benigno, degradano le prestazioni del modello. Nel complesso, i nostri risultati sottolineano i rischi critici della diffusione di tali modelli come agenti autonomi in contesti reali. Rendiamo pubblicamente disponibili il dataset, il pacchetto e il codice per la generazione dei grafici.
English
We introduce NESSiE, the NEceSsary SafEty benchmark for large language models (LLMs). With minimal test cases of information and access security, NESSiE reveals safety-relevant failures that should not exist, given the low complexity of the tasks. NESSiE is intended as a lightweight, easy-to-use sanity check for language model safety and, as such, is not sufficient for guaranteeing safety in general -- but we argue that passing this test is necessary for any deployment. However, even state-of-the-art LLMs do not reach 100% on NESSiE and thus fail our necessary condition of language model safety, even in the absence of adversarial attacks. Our Safe & Helpful (SH) metric allows for direct comparison of the two requirements, showing models are biased toward being helpful rather than safe. We further find that disabled reasoning for some models, but especially a benign distraction context degrade model performance. Overall, our results underscore the critical risks of deploying such models as autonomous agents in the wild. We make the dataset, package and plotting code publicly available.