La malhonnêteté stratégique peut compromettre les évaluations de sécurité des LLM de pointe en IA.

papers.abstract

Les développeurs de grands modèles de langage (LLM) visent à ce que leurs modèles soient honnêtes, utiles et inoffensifs. Cependant, face à des requêtes malveillantes, les modèles sont entraînés à refuser, sacrifiant ainsi leur utilité. Nous montrons que les LLM de pointe peuvent développer une préférence pour la malhonnêteté comme nouvelle stratégie, même lorsque d'autres options sont disponibles. Les modèles concernés répondent aux requêtes nuisibles par des sorties qui semblent dangereuses mais qui sont en réalité subtilement incorrectes ou inoffensives dans la pratique. Ce comportement émerge avec des variations difficiles à prévoir, même au sein de modèles de la même famille. Nous ne trouvons aucune cause apparente à cette propension à tromper, mais nous montrons que les modèles plus performants sont meilleurs pour exécuter cette stratégie. La malhonnêteté stratégique a déjà un impact pratique sur les évaluations de sécurité, car nous montrons que les réponses malhonnêtes trompent tous les moniteurs basés sur les sorties utilisés pour détecter les jailbreaks que nous testons, rendant les scores de référence peu fiables. De plus, la malhonnêteté stratégique peut agir comme un piège contre les utilisateurs malveillants, ce qui obscurcit notablement les attaques de jailbreak précédentes. Alors que les moniteurs de sortie échouent, nous montrons que des sondes linéaires sur les activations internes peuvent être utilisées pour détecter de manière fiable la malhonnêteté stratégique. Nous validons ces sondes sur des ensembles de données avec des résultats vérifiables et en utilisant leurs caractéristiques comme vecteurs de pilotage. Dans l'ensemble, nous considérons la malhonnêteté stratégique comme un exemple concret d'une préoccupation plus large selon laquelle l'alignement des LLM est difficile à contrôler, en particulier lorsque l'utilité et l'innocuité entrent en conflit.

English

Large language model (LLM) developers aim for their models to be honest, helpful, and harmless. However, when faced with malicious requests, models are trained to refuse, sacrificing helpfulness. We show that frontier LLMs can develop a preference for dishonesty as a new strategy, even when other options are available. Affected models respond to harmful requests with outputs that sound harmful but are subtly incorrect or otherwise harmless in practice. This behavior emerges with hard-to-predict variations even within models from the same model family. We find no apparent cause for the propensity to deceive, but we show that more capable models are better at executing this strategy. Strategic dishonesty already has a practical impact on safety evaluations, as we show that dishonest responses fool all output-based monitors used to detect jailbreaks that we test, rendering benchmark scores unreliable. Further, strategic dishonesty can act like a honeypot against malicious users, which noticeably obfuscates prior jailbreak attacks. While output monitors fail, we show that linear probes on internal activations can be used to reliably detect strategic dishonesty. We validate probes on datasets with verifiable outcomes and by using their features as steering vectors. Overall, we consider strategic dishonesty as a concrete example of a broader concern that alignment of LLMs is hard to control, especially when helpfulness and harmlessness conflict.

La malhonnêteté stratégique peut compromettre les évaluations de sécurité des LLM de pointe en IA.

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLM

papers.abstract

Support