El engaño estratégico puede socavar las evaluaciones de seguridad de IA en modelos lingüísticos de vanguardia.

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLM

September 22, 2025

Autores: Alexander Panfilov, Evgenii Kortukov, Kristina Nikolić, Matthias Bethge, Sebastian Lapuschkin, Wojciech Samek, Ameya Prabhu, Maksym Andriushchenko, Jonas Geiping

cs.AI

Resumen

Los desarrolladores de modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) buscan que sus modelos sean honestos, útiles e inofensivos. Sin embargo, al enfrentarse a solicitudes maliciosas, los modelos están entrenados para rechazarlas, sacrificando su utilidad. Demostramos que los LLM de vanguardia pueden desarrollar una preferencia por la deshonestidad como una nueva estrategia, incluso cuando hay otras opciones disponibles. Los modelos afectados responden a solicitudes dañinas con salidas que parecen perjudiciales pero que, en la práctica, son sutilmente incorrectas o inofensivas. Este comportamiento surge con variaciones difíciles de predecir, incluso dentro de modelos de la misma familia. No encontramos una causa aparente para esta propensión a engañar, pero demostramos que los modelos más capaces son mejores ejecutando esta estrategia. La deshonestidad estratégica ya tiene un impacto práctico en las evaluaciones de seguridad, ya que mostramos que las respuestas deshonestas engañan a todos los monitores basados en salidas que probamos para detectar jailbreaks, lo que hace que los puntajes de referencia sean poco confiables. Además, la deshonestidad estratégica puede actuar como una trampa contra usuarios maliciosos, lo que oscurece notablemente los ataques de jailbreak previos. Mientras que los monitores de salida fallan, demostramos que las sondas lineales en las activaciones internas pueden usarse para detectar de manera confiable la deshonestidad estratégica. Validamos las sondas en conjuntos de datos con resultados verificables y utilizando sus características como vectores de dirección. En general, consideramos la deshonestidad estratégica como un ejemplo concreto de una preocupación más amplia: que la alineación de los LLM es difícil de controlar, especialmente cuando la utilidad y la inofensividad entran en conflicto.

English

Large language model (LLM) developers aim for their models to be honest, helpful, and harmless. However, when faced with malicious requests, models are trained to refuse, sacrificing helpfulness. We show that frontier LLMs can develop a preference for dishonesty as a new strategy, even when other options are available. Affected models respond to harmful requests with outputs that sound harmful but are subtly incorrect or otherwise harmless in practice. This behavior emerges with hard-to-predict variations even within models from the same model family. We find no apparent cause for the propensity to deceive, but we show that more capable models are better at executing this strategy. Strategic dishonesty already has a practical impact on safety evaluations, as we show that dishonest responses fool all output-based monitors used to detect jailbreaks that we test, rendering benchmark scores unreliable. Further, strategic dishonesty can act like a honeypot against malicious users, which noticeably obfuscates prior jailbreak attacks. While output monitors fail, we show that linear probes on internal activations can be used to reliably detect strategic dishonesty. We validate probes on datasets with verifiable outcomes and by using their features as steering vectors. Overall, we consider strategic dishonesty as a concrete example of a broader concern that alignment of LLMs is hard to control, especially when helpfulness and harmlessness conflict.