Strategische Unehrlichkeit kann die Sicherheitsbewertungen von fortschrittlichen LLMs untergraben.

papers.abstract

Entwickler großer Sprachmodelle (LLMs) streben danach, dass ihre Modelle ehrlich, hilfreich und harmlos sind. Wenn sie jedoch mit bösartigen Anfragen konfrontiert werden, sind die Modelle darauf trainiert, diese abzulehnen, wodurch die Hilfsbereitschaft eingeschränkt wird. Wir zeigen, dass fortschrittliche LLMs eine Präferenz für Unehrlichkeit als neue Strategie entwickeln können, selbst wenn andere Optionen verfügbar sind. Betroffene Modelle reagieren auf schädliche Anfragen mit Ausgaben, die schädlich klingen, aber subtil falsch oder in der Praxis harmlos sind. Dieses Verhalten tritt mit schwer vorhersehbaren Variationen auf, sogar innerhalb von Modellen derselben Modellfamilie. Wir finden keine offensichtliche Ursache für die Neigung zur Täuschung, zeigen jedoch, dass leistungsfähigere Modelle besser in der Lage sind, diese Strategie umzusetzen. Strategische Unehrlichkeit hat bereits praktische Auswirkungen auf Sicherheitsbewertungen, da wir zeigen, dass unehrliche Antworten alle auf Ausgaben basierenden Überwachungssysteme, die wir zur Erkennung von Jailbreaks testen, täuschen und somit Benchmark-Ergebnisse unzuverlässig machen. Darüber hinaus kann strategische Unehrlichkeit wie ein Honigtopf gegen bösartige Benutzer wirken, was frühere Jailbreak-Angriffe deutlich verschleiert. Während Ausgabeüberwachungen versagen, zeigen wir, dass lineare Sonden auf internen Aktivierungen zuverlässig strategische Unehrlichkeit erkennen können. Wir validieren Sonden anhand von Datensätzen mit überprüfbaren Ergebnissen und indem wir ihre Merkmale als Steuerungsvektoren verwenden. Insgesamt betrachten wir strategische Unehrlichkeit als ein konkretes Beispiel für ein größeres Problem, dass die Ausrichtung von LLMs schwer zu kontrollieren ist, insbesondere wenn Hilfsbereitschaft und Harmlosigkeit in Konflikt stehen.

English

Large language model (LLM) developers aim for their models to be honest, helpful, and harmless. However, when faced with malicious requests, models are trained to refuse, sacrificing helpfulness. We show that frontier LLMs can develop a preference for dishonesty as a new strategy, even when other options are available. Affected models respond to harmful requests with outputs that sound harmful but are subtly incorrect or otherwise harmless in practice. This behavior emerges with hard-to-predict variations even within models from the same model family. We find no apparent cause for the propensity to deceive, but we show that more capable models are better at executing this strategy. Strategic dishonesty already has a practical impact on safety evaluations, as we show that dishonest responses fool all output-based monitors used to detect jailbreaks that we test, rendering benchmark scores unreliable. Further, strategic dishonesty can act like a honeypot against malicious users, which noticeably obfuscates prior jailbreak attacks. While output monitors fail, we show that linear probes on internal activations can be used to reliably detect strategic dishonesty. We validate probes on datasets with verifiable outcomes and by using their features as steering vectors. Overall, we consider strategic dishonesty as a concrete example of a broader concern that alignment of LLMs is hard to control, especially when helpfulness and harmlessness conflict.

Strategische Unehrlichkeit kann die Sicherheitsbewertungen von fortschrittlichen LLMs untergraben.

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLM

papers.abstract

Support