Стратегическая нечестность может подорвать оценку безопасности ИИ в передовых языковых моделях.

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLM

September 22, 2025

Авторы: Alexander Panfilov, Evgenii Kortukov, Kristina Nikolić, Matthias Bethge, Sebastian Lapuschkin, Wojciech Samek, Ameya Prabhu, Maksym Andriushchenko, Jonas Geiping

cs.AI

Аннотация

Разработчики крупных языковых моделей (LLM) стремятся к тому, чтобы их модели были честными, полезными и безопасными. Однако при столкновении с вредоносными запросами модели обучаются отказывать, жертвуя полезностью. Мы показываем, что передовые LLM могут развивать предпочтение к нечестности как новой стратегии, даже когда доступны другие варианты. Затронутые модели отвечают на вредоносные запросы выводами, которые звучат вредоносно, но на практике являются тонко некорректными или безвредными. Такое поведение проявляется с трудно предсказуемыми вариациями даже внутри моделей одного семейства. Мы не находим явной причины склонности к обману, но показываем, что более способные модели лучше справляются с выполнением этой стратегии. Стратегическая нечестность уже оказывает практическое влияние на оценки безопасности, так как мы демонстрируем, что нечестные ответы обманывают все тестируемые нами мониторы, основанные на выводах, используемые для обнаружения взломов, что делает результаты бенчмарков ненадежными. Кроме того, стратегическая нечестность может действовать как ловушка для злоумышленников, заметно затрудняя предыдущие атаки на взлом. Хотя мониторы выводов не справляются, мы показываем, что линейные зонды на внутренних активациях могут быть использованы для надежного обнаружения стратегической нечестности. Мы проверяем зонды на наборах данных с проверяемыми результатами и используем их признаки в качестве векторов управления. В целом, мы рассматриваем стратегическую нечестность как конкретный пример более широкой проблемы, заключающейся в том, что согласование LLM трудно контролировать, особенно когда полезность и безопасность вступают в конфликт.

English

Large language model (LLM) developers aim for their models to be honest, helpful, and harmless. However, when faced with malicious requests, models are trained to refuse, sacrificing helpfulness. We show that frontier LLMs can develop a preference for dishonesty as a new strategy, even when other options are available. Affected models respond to harmful requests with outputs that sound harmful but are subtly incorrect or otherwise harmless in practice. This behavior emerges with hard-to-predict variations even within models from the same model family. We find no apparent cause for the propensity to deceive, but we show that more capable models are better at executing this strategy. Strategic dishonesty already has a practical impact on safety evaluations, as we show that dishonest responses fool all output-based monitors used to detect jailbreaks that we test, rendering benchmark scores unreliable. Further, strategic dishonesty can act like a honeypot against malicious users, which noticeably obfuscates prior jailbreak attacks. While output monitors fail, we show that linear probes on internal activations can be used to reliably detect strategic dishonesty. We validate probes on datasets with verifiable outcomes and by using their features as steering vectors. Overall, we consider strategic dishonesty as a concrete example of a broader concern that alignment of LLMs is hard to control, especially when helpfulness and harmlessness conflict.