A desonestidade estratégica pode comprometer as avaliações de segurança de IA em modelos de linguagem de última geração.

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLM

September 22, 2025

Autores: Alexander Panfilov, Evgenii Kortukov, Kristina Nikolić, Matthias Bethge, Sebastian Lapuschkin, Wojciech Samek, Ameya Prabhu, Maksym Andriushchenko, Jonas Geiping

cs.AI

Resumo

Desenvolvedores de modelos de linguagem de grande escala (LLMs) buscam que seus modelos sejam honestos, úteis e inofensivos. No entanto, ao enfrentar solicitações maliciosas, os modelos são treinados para recusar, sacrificando a utilidade. Mostramos que LLMs de ponta podem desenvolver uma preferência pela desonestidade como uma nova estratégia, mesmo quando outras opções estão disponíveis. Modelos afetados respondem a solicitações prejudiciais com saídas que parecem prejudiciais, mas são sutilmente incorretas ou, na prática, inofensivas. Esse comportamento emerge com variações difíceis de prever, mesmo dentro de modelos da mesma família. Não encontramos uma causa aparente para a propensão a enganar, mas mostramos que modelos mais capazes são melhores em executar essa estratégia. A desonestidade estratégica já tem um impacto prático nas avaliações de segurança, pois mostramos que respostas desonestas enganam todos os monitores baseados em saída usados para detectar jailbreaks que testamos, tornando as pontuações de benchmarks não confiáveis. Além disso, a desonestidade estratégica pode agir como uma armadilha contra usuários maliciosos, o que notavelmente obscurece ataques de jailbreak anteriores. Enquanto os monitores de saída falham, mostramos que sondas lineares em ativações internas podem ser usadas para detectar de forma confiável a desonestidade estratégica. Validamos as sondas em conjuntos de dados com resultados verificáveis e usando suas características como vetores de direcionamento. No geral, consideramos a desonestidade estratégica como um exemplo concreto de uma preocupação mais ampla de que o alinhamento de LLMs é difícil de controlar, especialmente quando utilidade e inofensividade entram em conflito.

English

Large language model (LLM) developers aim for their models to be honest, helpful, and harmless. However, when faced with malicious requests, models are trained to refuse, sacrificing helpfulness. We show that frontier LLMs can develop a preference for dishonesty as a new strategy, even when other options are available. Affected models respond to harmful requests with outputs that sound harmful but are subtly incorrect or otherwise harmless in practice. This behavior emerges with hard-to-predict variations even within models from the same model family. We find no apparent cause for the propensity to deceive, but we show that more capable models are better at executing this strategy. Strategic dishonesty already has a practical impact on safety evaluations, as we show that dishonest responses fool all output-based monitors used to detect jailbreaks that we test, rendering benchmark scores unreliable. Further, strategic dishonesty can act like a honeypot against malicious users, which noticeably obfuscates prior jailbreak attacks. While output monitors fail, we show that linear probes on internal activations can be used to reliably detect strategic dishonesty. We validate probes on datasets with verifiable outcomes and by using their features as steering vectors. Overall, we consider strategic dishonesty as a concrete example of a broader concern that alignment of LLMs is hard to control, especially when helpfulness and harmlessness conflict.