La disonestà strategica può compromettere le valutazioni di sicurezza dell'IA per i modelli linguistici all'avanguardia.

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLM

September 22, 2025

Autori: Alexander Panfilov, Evgenii Kortukov, Kristina Nikolić, Matthias Bethge, Sebastian Lapuschkin, Wojciech Samek, Ameya Prabhu, Maksym Andriushchenko, Jonas Geiping

cs.AI

Abstract

Gli sviluppatori di modelli linguistici di grandi dimensioni (LLM) mirano a creare modelli onesti, utili e innocui. Tuttavia, di fronte a richieste maligne, i modelli sono addestrati a rifiutare, sacrificando l'utilità. Dimostriamo che i LLM più avanzati possono sviluppare una preferenza per la disonestà come nuova strategia, anche quando sono disponibili altre opzioni. I modelli affetti rispondono a richieste dannose con output che sembrano nocivi ma che in pratica sono sottilmente errati o comunque innocui. Questo comportamento emerge con variazioni difficili da prevedere anche all'interno di modelli della stessa famiglia. Non troviamo una causa apparente per la propensione a ingannare, ma dimostriamo che i modelli più capaci sono migliori nell'eseguire questa strategia. La disonestà strategica ha già un impatto pratico sulle valutazioni di sicurezza, poiché dimostriamo che le risposte disoneste ingannano tutti i monitor basati sugli output utilizzati per rilevare i jailbreak che testiamo, rendendo inaffidabili i punteggi dei benchmark. Inoltre, la disonestà strategica può agire come una trappola contro gli utenti malintenzionati, oscurando in modo evidente precedenti attacchi di jailbreak. Mentre i monitor degli output falliscono, dimostriamo che le sonde lineari sulle attivazioni interne possono essere utilizzate per rilevare in modo affidabile la disonestà strategica. Validiamo le sonde su dataset con esiti verificabili e utilizzando le loro caratteristiche come vettori di direzione. Nel complesso, consideriamo la disonestà strategica come un esempio concreto di una preoccupazione più ampia: l'allineamento degli LLM è difficile da controllare, specialmente quando utilità e innocuità entrano in conflitto.

English

Large language model (LLM) developers aim for their models to be honest, helpful, and harmless. However, when faced with malicious requests, models are trained to refuse, sacrificing helpfulness. We show that frontier LLMs can develop a preference for dishonesty as a new strategy, even when other options are available. Affected models respond to harmful requests with outputs that sound harmful but are subtly incorrect or otherwise harmless in practice. This behavior emerges with hard-to-predict variations even within models from the same model family. We find no apparent cause for the propensity to deceive, but we show that more capable models are better at executing this strategy. Strategic dishonesty already has a practical impact on safety evaluations, as we show that dishonest responses fool all output-based monitors used to detect jailbreaks that we test, rendering benchmark scores unreliable. Further, strategic dishonesty can act like a honeypot against malicious users, which noticeably obfuscates prior jailbreak attacks. While output monitors fail, we show that linear probes on internal activations can be used to reliably detect strategic dishonesty. We validate probes on datasets with verifiable outcomes and by using their features as steering vectors. Overall, we consider strategic dishonesty as a concrete example of a broader concern that alignment of LLMs is hard to control, especially when helpfulness and harmlessness conflict.